Comparando modelos em dados de avaliações rotulados
Agora que você consegue classificar sentimentos em massa, sua equipe quer avaliar qual modelo é mais confiável. Você vai comparar dois modelos usando um conjunto maior de avaliações rotuladas e medir a precisão deles.
Uma lista de “ texts ” e seu “ true_labels ” já estão prontos pra você.
Este exercício faz parte do curso
Processamento de Linguagem Natural (NLP) em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]