Définir des métriques d’évaluation

Vous développez un service de traduction de langues en temps réel pour une application de visioconférence. Pour suivre l’entraînement, vous allez définir des métriques d’évaluation pour l’exactitude (accuracy) et le score F1, qui mesurent les performances globales du modèle.

Les bibliothèques evaluate et numpy (np) ont déjà été importées.

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Chargez le score f1 avec la bibliothèque evaluate ; accuracy a été chargé pour vous.
Extrayez logits et labels de l’entrée eval_predictions.
Convertissez logits en predictions.
Calculez le score f1 à partir des predictions et des labels.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Modifier et exécuter le code