Définir des métriques d’évaluation

Vous développez un service de traduction linguistique en temps réel dans une application de visioconférence. Pour surveiller l’entraînement, vous allez définir des métriques d’évaluation pour l’exactitude et le score F1, qui mesurent la performance globale du modèle.

Les bibliothèques evaluate et numpy (np) ont été préimportées.

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Chargez le score f1 avec la bibliothèque evaluate ; accuracy a déjà été chargé pour vous.
Extrayez logits et labels en décompressant eval_predictions dans deux variables.
Convertissez logits en predictions.
Calculez le score f1 à partir de predictions et labels.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Modifier et exécuter le code