Tokenizace: věty
Farma zvířat je oblíbená kniha, kterou učitelé angličtiny na základních školách rádi zadávají svým žákům. Rozhodl/a ses prozkoumat tento text a připravit souhrnné statistiky, které učitelům pomohou při výběru této knihy pro výuku. Víš, že kniha má 10 kapitol, a zároveň víš, že tokenizace ti pomůže spočítat věty, slova i odstavce. V tomto cvičení použiješ techniky tokenizace z videa k rozdělení Farmy zvířat na věty a jejich počítání podle kapitol.
Toto cvičení je součástí kurzu
Úvod do zpracování přirozeného jazyka v R
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Split the text_column into sentences
animal_farm %>%
___(output = "sentences", input = text_column, token = ___)