Tokenize een string uit GoT

Een eerste standaardstap bij het werken met tekst is tokenizen: een grotere string opsplitsen in afzonderlijke strings, meestal losse woorden (tokens).

Er is een string GoT voor je aangemaakt met een citaat uit George R.R. Martins Game of Thrones. Jouw taak is om deze op te splitsen in afzonderlijke tokens.

Deze oefening maakt deel uit van de cursus

Sentimentanalyse in Python

Bekijk cursus

Oefeninstructies

Importeer de functie voor het tokenizen van woorden uit nltk.
Zet de string GoT om naar woordtokens.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import the required function
from nltk import ____

# Transform the GoT string to word tokens
print(____(____))

Code bewerken en uitvoeren