Tokenisera Gettysburgstalet
I den här övningen tokeniserar du ett av historiens mest kända tal: Gettysburgstalet som hölls av den amerikanske presidenten Abraham Lincoln under det amerikanska inbördeskriget.
Hela talet finns tillgängligt som en sträng med namnet gettysburg.
Den här övningen är en del av kursen
Funktionsutveckling för NLP i Python
Övningsinstruktioner
- Ladda in modellen
en_core_web_smmed hjälp avspacy.load(). - Skapa ett Doc-objekt
docför strängengettysburg. - Använd list comprehension och loopa över
docför att generera tokentexterna.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)