LoslegenKostenlos loslegen

Bewertungsmetriken definieren

Du entwickelst einen Echtzeit-Sprachübersetzungsdienst für eine Videokonferenzanwendung. Um das Training zu überwachen, legst du Bewertungskennzahlen für die Genauigkeit und den F1-Score fest, die die Gesamtleistung des Modells messen.

Die Bibliotheken evaluate und numpy (np) sind vorimportiert worden.

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

  • Lade die Partiturf1 mit Hilfe der Bibliothek evaluate; accuracy wurde bereits für dich geladen.
  • Extrahiere logits und labels aus der Eingabe eval_predictions.
  • logits in predictions umwandeln.
  • Berechne die Punktzahl f1 auf der Grundlage von predictions und labels.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}
Code bearbeiten und ausführen