Utilisation des indicateurs d'évaluation
Il est temps d'évaluer votre LLM qui classe les interactions avec le service client. En reprenant là où vous en étiez resté avec votre modèle affiné, vous allez maintenant utiliser un nouvel ensemble de données de validation pour évaluer les performances de votre modèle.
Certaines interactions et leurs étiquettes correspondantes ont été chargées pour vous sous validate_text et validate_labels. model et tokenizer ont également été chargés.
Cet exercice fait partie du cours
<cours>Introduction aux LLM en Python</cours>Instructions de l’exercice
- Veuillez extraire les étiquettes prédites à partir des logits du modèle disponibles dans
outputs. - Calculez les quatre métriques chargées en comparant les étiquettes réelles (
validate_labels) et prédites.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))