ゲティスバーグ演説のトークン化
この演習では、南北戦争中にアメリカ大統領エイブラハム・リンカーンが行った、史上最も有名な演説の一つ「ゲティスバーグ演説」をトークン化します。
演説全文は、文字列 gettysburg として用意されています。
この演習はコースの一部です
Pythonで学ぶNLPの特徴量エンジニアリング
演習の手順
spacy.load()を使ってen_core_web_smモデルを読み込みます。- 文字列
gettysburgから Doc オブジェクトdocを作成します。 - リスト内包表記を使って
docをループし、各トークンのテキストを生成します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)