Definování evaluačních metrik

Vyvíjíš službu pro překlad jazyka v reálném čase v rámci aplikace pro videokonference. Aby bylo možné sledovat průběh trénování, definuješ evaluační metriky pro přesnost (accuracy) a skóre F1, které měří celkový výkon modelu.

Knihovny evaluate a numpy (np) jsou již naimportované.

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Načti skóre f1 pomocí knihovny evaluate; accuracy je již načtena za tebe.
Extrahuj logits a labels rozbalením eval_predictions do dvou proměnných.
Převeď logits na predictions.
Vypočítej skóre f1 na základě predictions a labels.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Upravit a spustit kód