Tokenizace Gettysburského projevu
V tomto cvičení budeš tokenizovat jeden z nejslavnějších projevů v historii: Gettysburský projev amerického prezidenta Abrahama Lincolna proslovený během americké občanské války.
Celý projev je dostupný jako řetězec s názvem gettysburg.
Toto cvičení je součástí kurzu
Feature Engineering for NLP in Python
Pokyny k cvičení
- Načti model
en_core_web_smpomocíspacy.load(). - Vytvoř objekt Doc s názvem
docpro řetězecgettysburg. - Pomocí list comprehension projdi
doca získej texty tokenů.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)