Comparaison de modèles sur des données d'évaluation étiquetées
Maintenant que vous pouvez classer les sentiments en masse, votre équipe souhaite évaluer quel modèle est le plus fiable. Vous comparerez deux modèles à l'aide d'un ensemble de données d'avis plus important et étiqueté, puis vous mesurerez leur précision.
Une liste d'texts s et leur true_labels sont préchargés pour vous.
Cet exercice fait partie du cours
Traitement du langage naturel (NLP) en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
from transformers import pipeline
from sklearn.metrics import accuracy_score
# Load sentiment analysis models
pipe_a = pipeline(task="sentiment-analysis", ____)
pipe_b = pipeline(task="sentiment-analysis", ____)
# Generate predictions
preds_a = [____ for res in pipe_a(texts)]
preds_b = [____ for res in pipe_b(texts)]