Define métricas de evaluación

Estás desarrollando un servicio de traducción de idiomas en tiempo real para una aplicación de videoconferencias. Para monitorizar el entrenamiento, vas a definir métricas de evaluación para accuracy y F1 score, que miden el rendimiento general del modelo.

Las bibliotecas evaluate y numpy (np) ya se han importado.

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Carga el f1 score usando la biblioteca evaluate; accuracy ya se ha cargado por ti.
Extrae logits y labels de la entrada eval_predictions.
Convierte logits en predictions.
Calcula el f1 score a partir de predictions y labels.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar y ejecutar código