Токенизация Геттисбергской речи
В этом упражнении вы выполните токенизацию одной из самых знаменитых речей в истории — Геттисбергской речи президента США Авраама Линкольна, произнесённой в годы Гражданской войны.
Полный текст речи доступен в виде строки gettysburg.
Это упражнение является частью курса
Конструирование признаков для NLP на Python
Инструкции к упражнению
- Загрузите модель
en_core_web_smс помощьюspacy.load(). - Создайте объект Doc с именем
docдля строкиgettysburg. - Используя генератор списков, выполните итерацию по
docи получите тексты токенов.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)