Bewertungsmetriken definieren

Du entwickelst einen Echtzeit-Sprachübersetzungsdienst in einer Videokonferenz-App. Um das Training zu überwachen, definierst du Bewertungsmetriken für Accuracy und F1-Score, die die Gesamtleistung des Modells messen.

Die Bibliotheken evaluate und numpy (np) sind bereits importiert.

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Lade den f1-Score mit der evaluate-Bibliothek; accuracy wurde bereits für dich geladen.
Extrahiere logits und labels, indem du eval_predictions in zwei Variablen entpackst.
Wandle logits in predictions um.
Berechne den f1-Score basierend auf den predictions und labels.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Code bearbeiten und ausführen