Registrare le metriche di valutazione

Tenere traccia delle metriche di performance ti permette di monitorare eventuali degradi e di decidere quando aggiornare il tuo modello per mantenere un alto livello di accuratezza. Decidi quindi di registrare le metriche dopo che il tuo modello ha terminato un ciclo di valutazione.

Alcuni dati sono già stati caricati:

accelerator è un'istanza di Accelerator
eval_metric è un dizionario di metriche come accuracy e f1
num_epochs è il numero di epoche

Questo esercizio fa parte del corso

Efficient AI Model Training with PyTorch

Visualizza corso

Istruzioni dell'esercizio

Chiama un metodo per registrare le metriche di valutazione del modello.
Registra i punteggi "accuracy" e "f1" come metriche di valutazione.
Tieni traccia del numero di epoca passando la variabile del loop epoch al parametro step.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")

for epoch in range(num_epochs):
    # Training loop is here
    # Evaluation loop is here
    # Call a method to log metrics
    accelerator.log({
        # Log accuracy and F1 score as metrics
        "accuracy": ____["accuracy"],
        "f1": ____["f1"],
    # Track the epoch number
    }, step=____)

accelerator.end_training()

Modifica ed esegui il codice