Tokeniser le discours de Gettysburg
Dans cet exercice, vous allez tokeniser l'un des discours les plus célèbres de tous les temps : le discours de Gettysburg prononcé par le président américain Abraham Lincoln pendant la guerre de Sécession.
Le discours complet est disponible dans une chaîne nommée gettysburg.
Cette activité fait partie du cours
Ingénierie des caractéristiques pour le NLP en Python
Instructions de l’exercice
- Chargez le modèle
en_core_web_smà l'aide despacy.load(). - Créez un objet Doc
docpour la chaînegettysburg. - À l'aide d'une compréhension de liste, parcourez
docpour générer les textes des jetons.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)