Définir les paramètres d'évaluation

Vous développez un service de traduction linguistique en temps réel dans une application de vidéoconférence. Pour contrôler la formation, vous définirez des paramètres d'évaluation pour la précision et le score F1, qui mesurent les performances globales du modèle.

Les bibliothèques evaluate et numpy (np) ont été préimportées.

Cet exercice fait partie du cours

Entraînement efficace de modèles d'IA avec PyTorch

Afficher le cours

Instructions

Chargez la partitionf1 en utilisant la bibliothèque evaluate; accuracy a été chargé pour vous.
Extrayez logits et labels de l'entrée eval_predictions.
Convertir logits en predictions.
Calculez le score f1 sur la base des scores predictions et labels.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Modifier et exécuter le code