Definisci le metriche di valutazione

Stai sviluppando un servizio di traduzione linguistica in tempo reale per un'applicazione di videoconferenza. Per monitorare l'addestramento, definirai le metriche di valutazione per accuracy e F1 score, che misurano le prestazioni complessive del modello.

Le librerie evaluate e numpy (np) sono già state importate.

Questo esercizio fa parte del corso

Efficient AI Model Training with PyTorch

Visualizza il corso

Istruzioni dell'esercizio

Carica l'f1 score usando la libreria evaluate; accuracy è già stata caricata per te.
Estrai logits e labels decomprimendo eval_predictions in due variabili.
Converti logits in predictions.
Calcola l'f1 score in base a predictions e labels.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Modifica ed esegui il codice