Evaluationsmetriken definieren

Du entwickelst einen Echtzeit-Sprachübersetzungsdienst in einer Videokonferenz-Anwendung. Um das Training zu überwachen, definierst du Evaluationsmetriken für Accuracy und F1-Score, die die Gesamtleistung des Modells messen.

Die Bibliotheken evaluate und numpy (np) wurden bereits importiert.

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Lade den f1-Score mit der evaluate-Bibliothek; accuracy wurde bereits für dich geladen.
Extrahiere logits und labels aus den Eingaben eval_predictions.
Wandle logits in predictions um.
Berechne den f1-Score auf Basis von predictions und labels.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Code bearbeiten und ausführen