Tokenisering: meningar
Djurfarmen är en populär bok som engelsklärare på mellanstadiet ofta låter sina elever läsa. Du har bestämt dig för att utforska texten och ta fram sammanfattande statistik som lärare kan använda när de tilldelar boken till sina elever. Du vet redan att det finns 10 kapitel, men du vet också att du kan använda tokenisering för att räkna antalet meningar, ord och stycken. I den här övningen använder du de tokeniseringstekniker du lärt dig i videon för att dela upp Djurfarmen i meningar och räkna dem per kapitel.
Den här övningen är en del av kursen
Introduktion till naturlig språkbehandling i R
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Split the text_column into sentences
animal_farm %>%
___(output = "sentences", input = text_column, token = ___)