1. Learn
    2. /
  2. Courses
    3. /
  3. Hugging Face を使いこなす
Connected

Exercise

AutoTokenizer でテキストをトークナイズする

AutoTokenizer は、クリーニング、正規化、トークナイズを自動で処理して、テキスト準備を簡単にします。モデルが期待する形式でテキストが処理されるようにしてくれます。

この演習では、AutoTokenizer がテキストを Machine Learning タスク向けのトークンにどのように変換するかを体験します。

Instructions

100 XP
  • transformers から必要なクラスをインポートし、適切なメソッドでトークナイザーを読み込み、入力テキストをトークンに分割します。