Tokenizarea Discursului de la Gettysburg
În acest exercițiu, vei tokeniza unul dintre cele mai celebre discursuri din istorie: Discursul de la Gettysburg, rostit de președintele american Abraham Lincoln în timpul Războiului Civil American.
Întregul discurs este disponibil ca șir de caractere cu numele gettysburg.
Acest exercițiu face parte din cursul
Ingineria caracteristicilor pentru NLP în Python
Instrucțiuni pentru exercițiu
- Încarcă modelul
en_core_web_smfolosindspacy.load(). - Creează un obiect Doc numit
docpentru șirulgettysburg. - Folosind list comprehension, parcurge
docpentru a genera textele tokenilorilor.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)