1. 学ぶ
    2. /
  2. コース
    3. /
  3. Pythonで学ぶNLPの特徴量エンジニアリング
Connected

演習

ゲティスバーグ演説のトークン化

この演習では、南北戦争中にアメリカ大統領エイブラハム・リンカーンが行った、史上最も有名な演説の一つ「ゲティスバーグ演説」をトークン化します。

演説全文は、文字列 gettysburg として用意されています。

指示

100 XP
  • spacy.load() を使って en_core_web_sm モデルを読み込みます。
  • 文字列 gettysburg から Doc オブジェクト doc を作成します。
  • リスト内包表記を使って doc をループし、各トークンのテキストを生成します。