Die Gettysburg Address tokenisieren
In dieser Übung tokenisierst du eine der berühmtesten Reden aller Zeiten: die Gettysburg Address, gehalten vom amerikanischen Präsidenten Abraham Lincoln während des amerikanischen Bürgerkriegs.
Die gesamte Rede steht dir als String gettysburg zur Verfügung.
Diese Übung ist Teil des Kurses
<Kurs>Feature Engineering für NLP in Python</Kurs>Übungsanweisungen
- Lade das Modell
en_core_web_smmitspacy.load(). - Erstelle ein Doc-Objekt
docfür den Stringgettysburg. - Iteriere mit List Comprehension über
doc, um die Token-Texte zu erzeugen.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)