Définir des métriques d’évaluation

Vous développez un service de traduction de langue en temps réel dans une application de visioconférence. Pour suivre l’entraînement, vous allez définir des métriques d’évaluation pour l’accuracy et le score F1, qui mesurent la performance globale du modèle.

Les bibliothèques evaluate et numpy (np) ont déjà été importées.

Cet exercice fait partie du cours

<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>

Voir le cours

Instructions de l’exercice

Chargez le score f1 à l’aide de la bibliothèque evaluate ; accuracy a déjà été chargé pour vous.
Extrayez logits et labels en décompactant eval_predictions dans deux variables.
Convertissez logits en predictions.
Calculez le score f1 à partir des predictions et des labels.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Modifier et exécuter le code