1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch で学ぶテキストの Deep Learning
Connected

演習

テキストの前処理

レコメンデーションシステムなどのモデルを構築するには、まずテキストの前処理が必要です。

ここではシャーロック・ホームズの一節が読み込まれています。動画で紹介したさまざまな手法を使ってこのテキストを前処理し、以降の分析に備えましょう。

変数 text には、Arthur Conan Doyle の The Hound of the Baskervilles（バスカヴィル家の犬）からの抜粋が入っています。

次のパッケージと関数はあらかじめ読み込まれています： nltk、torch、get_tokenizer、PorterStemmer、stopwords。

指示1 / 3

undefined XP
    1
    2
    3
  • "basic_english" でトークナイザを初期化します。
  • トークナイザを使って text をトークン化します。