Definir las métricas de evaluación

Estás desarrollando un servicio de traducción de idiomas en tiempo real en una aplicación de videoconferencia. Para controlar el entrenamiento, definirás métricas de evaluación para la precisión y la puntuación F1, que miden el rendimiento general del modelo.

Se han preimportado las bibliotecas evaluate y numpy (np).

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Carga la partituraf1 utilizando la biblioteca evaluate; accuracy se ha cargado por ti.
Extrae logits y labels de la entrada eval_predictions.
Convertir logits a predictions.
Calcula la puntuación de f1 a partir de predictions y labels.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar y ejecutar código