AutoClassを使う
モデルに向けたテキストの前処理におけるトークナイザーの仕組みや役割を確認しました。次は、AutoModelとAutoTokenizerをpipeline()関数と組み合わせて、さらに一歩進みましょう。制御と利便性をうまく両立する方法です。
引き続き感情分析タスクで、今度はAutoClassとパイプラインモジュールを組み合わせてみましょう。
transformersライブラリのAutoModelForSequenceClassification、AutoTokenizer、pipelineはすでにインポートされています。
この演習はコースの一部です
Hugging Faceを使いこなす
演習の手順
- モデルとトークナイザーをダウンロードし、それぞれ
my_modelとmy_tokenizerとして保存してください。 - パイプラインを作成し、
my_pipelineとして保存してください。 my_pipelineを使って予測を行い、結果をoutputとして保存してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Download the model and tokenizer
my_model = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
my_tokenizer = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
# Create the pipeline
my_pipeline = pipeline(task="sentiment-analysis", ____=____, ____=____)
# Predict the sentiment
output = ____("This course is pretty good, I guess.")
print(f"Sentiment using AutoClasses: {output[0]['label']}")