AutoTokenizer によるテキストの前処理
農家が現場で直面する問題について質問できる、精密農業アプリケーションを構築しています。農家が実際に抱えるよくある質問と回答のデータセットを活用します。このデータセットには以下のフィールドが含まれています。
question：農業に関するよくある質問answers：農業に関する質問への回答
分散学習の第一ステップとして、このテキストデータセットの前処理を行いましょう。
以下のデータはあらかじめ読み込まれています。
dataset：農業に関する質問と回答のサンプルデータセットAutoTokenizer：transformersからインポート済み
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- 事前学習済みの
tokenizerを読み込みましょう。 tokenizerを使ってexample["question"]をトークン化しましょう。encode()関数をdatasetに適用しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load a pre-trained tokenizer
tokenizer = ____.____("distilbert-base-uncased")
def encode(example):
# Tokenize the "question" field of the training example
return ____(____["____"], padding="max_length", truncation=True, return_tensors="pt")
# Map the function to the dataset
dataset = ____.____(____, batched=True)
dataset = dataset.map(lambda example: {"labels": example["answers"]}, batched=True)
print(dataset)