ラベル付きレビュー データでモデルを比較する
バッチで感情分類ができるようになったので、どのモデルがより信頼できるかを評価します。より大きなラベル付きレビュー データセットを使って2つのモデルを比較し、正解率を測定しましょう。
texts リストとその true_labels はあらかじめ読み込まれています。
この演習はコースの一部です
Pythonで学ぶ自然言語処理(NLP)
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]