Rejestrowanie metryk ewaluacji

Śledzenie metryk wydajności pozwala wykrywać spadki jakości modelu i podejmować decyzje o tym, kiedy go zaktualizować, aby utrzymać wysoki poziom dokładności. Postanawiasz rejestrować metryki po zakończeniu przez model pętli ewaluacji.

Następujące dane zostały wstępnie załadowane:

accelerator to instancja klasy Accelerator
eval_metric to słownik metryk, takich jak accuracy i f1
num_epochs to liczba epok

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Wywołaj metodę służącą do rejestrowania metryk ewaluacji modelu.
Zarejestruj wyniki "accuracy" i "f1" jako metryki ewaluacji.
Śledź numer epoki, przekazując zmienną pętli epoch do parametru step.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")

for epoch in range(num_epochs):
    # Training loop is here
    # Evaluation loop is here
    # Call a method to log metrics
    accelerator.log({
        # Log accuracy and F1 score as metrics
        "accuracy": ____["accuracy"],
        "f1": ____["f1"],
    # Track the epoch number
    }, step=____)

accelerator.end_training()

Edytuj i uruchom kod