Utiliser les mesures d'evaluate
Il est temps d'évaluer votre LLM qui classe les interactions du soutien à la clientèle. À partir de votre modèle ajusté finement, vous allez maintenant utiliser un nouvel ensemble de validation pour mesurer la performance de votre modèle.
Certaines interactions et leurs étiquettes correspondantes ont été chargées pour vous sous validate_text et validate_labels. Le model et le tokenizer sont aussi chargés.
Cette activité fait partie du cours
Introduction aux LLM avec Python
Instructions de l’exercice
- Extrayez les étiquettes prédites à partir des logits du modèle trouvés dans les
outputs. - Calculez les quatre mesures chargées en comparant les étiquettes réelles (
validate_labels) aux étiquettes prédites.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))