Membandingkan model pada data ulasan berlabel
Sekarang setelah Anda dapat mengklasifikasikan sentimen secara massal, tim Anda ingin mengevaluasi model mana yang lebih andal. Anda akan membandingkan dua model menggunakan himpunan data ulasan berlabel yang lebih besar dan mengukur akurasinya.
Daftar texts beserta true_labels sudah dimuat untuk Anda.
Latihan ini adalah bagian dari kursus
Natural Language Processing (NLP) in Python
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]