Jämföra modeller på märkt recensionsdata
Nu när du kan klassificera sentiment i bulk vill ditt team utvärdera vilken modell som är mest tillförlitlig. Du jämför två modeller med hjälp av en större märkt datamängd av recensioner och mäter deras noggrannhet.
En lista texts och dess true_labels är förinlästa åt dig.
Den här övningen är en del av kursen
Natural Language Processing (NLP) i Python
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]