Токенізація промови в Ґеттісбурзі

У цій вправі ви будете виконувати токенізацію однієї з найвідоміших промов усіх часів — промови в Ґеттісбурзі, виголошеної президентом США Авраамом Лінкольном під час Громадянської війни в Америці.

Уся промова доступна як рядок з назвою gettysburg.

Ця вправа є частиною курсу

Інженерія ознак для NLP у Python

Переглянути курс

Інструкції до вправи

Завантажте модель en_core_web_sm за допомогою spacy.load().
Створіть об'єкт Doc doc для рядка gettysburg.
Використайте спискове включення, щоб ітерувати doc та згенерувати тексти токенів.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

import spacy

# Load the en_core_web_sm model
nlp = ____.____(____)

# Create a Doc object
doc = ____(____)

# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)

Редагувати та запускати код