Confrontare modelli su dati di recensioni etichettati
Ora che puoi classificare il sentiment in blocco, il tuo team vuole valutare quale modello sia più affidabile. Confronterai due modelli usando un insieme di dati più grande di recensioni etichettate e ne misurerai l'accuratezza.
Una lista texts e le sue true_labels sono già caricate per te.
Questo esercizio fa parte del corso
Natural Language Processing (NLP) in Python
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]