Tokenisera en sträng från GoT
Ett första standardsteg när man arbetar med text är att tokenisera den – med andra ord dela upp en längre sträng i enskilda strängar, vanligtvis enstaka ord (tokens).
En sträng GoT har skapats åt dig och innehåller ett citat från George R.R. Martins Game of Thrones. Din uppgift är att dela upp den i enskilda tokens.
Den här övningen är en del av kursen
Sentimentanalys i Python
Övningsinstruktioner
- Importera ordtokeniseringsfunktionen från
nltk. - Omvandla strängen
GoTtill ordtokens.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))