1. Learn
    2. /
  2. Courses
    3. /
  3. Pythonで学ぶ自然言語処理（NLP）
Connected

Exercise

文と単語のトークン化

トークン化はNLPの最初の重要なステップです。テキストをトークンと呼ばれる小さな単位に分割することで、言語データを扱うための基本になります。あなたの課題は、ニュース記事の一部を文と単語の両方にトークン化することです。

Instructions 1/2

undefined XP
    1
    2
  • nltk ライブラリをインポートします。
  • punkt_tab パッケージをダウンロードします。
  • text を sentences にトークン化します。