Definiera utvärderingsmått

Du utvecklar en realtidstjänst för språköversättning i en videokonferensapplikation. För att följa träningen definierar du utvärderingsmått för noggrannhet och F1-poäng, som mäter modellens övergripande prestanda.

Biblioteken evaluate och numpy (np) har redan importerats.

Den här övningen är en del av kursen

Effektiv AI-modellträning med PyTorch

Visa kurs

Övningsinstruktioner

Läs in f1-poängen med hjälp av biblioteket evaluate; accuracy har redan laddats åt dig.
Extrahera logits och labels genom att packa upp eval_predictions i två variabler.
Konvertera logits till predictions.
Beräkna f1-poängen baserat på predictions och labels.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Redigera och kör kod