Comparer des modèles sur des avis étiquetés
Maintenant que vous pouvez classifier des sentiments à grande échelle, votre équipe veut évaluer quel modèle est le plus fiable. Vous allez comparer deux modèles sur un jeu de données plus large d’avis étiquetés et mesurer leur exactitude.
Une liste texts et ses true_labels sont déjà chargées pour vous.
Cet exercice fait partie du cours
Natural Language Processing (NLP) in Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]