Definește metricile de evaluare

Dezvolți un serviciu de traducere în timp real pentru o aplicație de videoconferință. Pentru a monitoriza antrenamentul, vei defini metrici de evaluare pentru acuratețe și scorul F1, care măsoară performanța generală a modelului.

Bibliotecile evaluate și numpy (np) au fost deja importate.

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Încarcă scorul f1 folosind biblioteca evaluate; accuracy a fost deja încărcat pentru tine.
Extrage logits și labels prin despachetarea lui eval_predictions în două variabile.
Convertește logits în predictions.
Calculează scorul f1 pe baza predictions și labels.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editează și rulează codul