Comparando modelos em dados de avaliações rotuladas
Agora que você consegue classificar sentimento em lote, sua equipe quer avaliar qual modelo é mais confiável. Você vai comparar dois modelos usando um conjunto de dados maior, com avaliações rotuladas, e medir a acurácia deles.
Uma lista texts e seus true_labels já estão carregados para você.
Este exercício faz parte do curso
Processamento de Linguagem Natural (NLP) em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]