Evalueerstatistieken definiëren

Je ontwikkelt een real-time taalkundige vertaaldienst in een videoconferentie-applicatie. Om de training te monitoren, ga je evalueerstatistieken definiëren voor accuracy en F1-score, die de algehele modelprestatie meten.

De bibliotheken evaluate en numpy (np) zijn al geïmporteerd.

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Laad de f1-score met de evaluate-bibliotheek; accuracy is al voor je geladen.
Haal logits en labels op door eval_predictions in twee variabelen uit te pakken.
Zet logits om naar predictions.
Bereken de f1-score op basis van de predictions en labels.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Code bewerken en uitvoeren