1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction aux LLM avec Python
Connected

Exercice

Utiliser les mesures d'evaluate

Il est temps d'évaluer votre LLM qui classe les interactions du soutien à la clientèle. À partir de votre modèle ajusté finement, vous allez maintenant utiliser un nouvel ensemble de validation pour mesurer la performance de votre modèle.

Certaines interactions et leurs étiquettes correspondantes ont été chargées pour vous sous validate_text et validate_labels. Le model et le tokenizer sont aussi chargés.

Instructions

100 XP
  • Extrayez les étiquettes prédites à partir des logits du modèle trouvés dans les outputs.
  • Calculez les quatre mesures chargées en comparant les étiquettes réelles (validate_labels) aux étiquettes prédites.