Consigner les métriques d’évaluation

Suivre les métriques de performance vous permet de détecter les dégradations et de décider quand mettre à jour votre modèle pour conserver un haut niveau de précision. Vous choisissez donc de consigner les métriques après la fin de chaque boucle d’évaluation de votre modèle.

Des données ont été préchargées :

accelerator est une instance de Accelerator
eval_metric est un dictionnaire de métriques comme accuracy et f1
num_epochs est le nombre d’époques

Cet exercice fait partie du cours

<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>

Voir le cours

Instructions de l’exercice

Appelez une méthode pour consigner les métriques d’évaluation du modèle.
Consignez les scores "accuracy" et "f1" comme métriques d’évaluation.
Suivez le numéro d’époque en passant la variable de boucle epoch au paramètre step.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")

for epoch in range(num_epochs):
    # Training loop is here
    # Evaluation loop is here
    # Call a method to log metrics
    accelerator.log({
        # Log accuracy and F1 score as metrics
        "accuracy": ____["accuracy"],
        "f1": ____["f1"],
    # Track the epoch number
    }, step=____)

accelerator.end_training()

Modifier et exécuter le code