Define métricas de evaluación

Estás desarrollando un servicio de traducción de idiomas en tiempo real para una aplicación de videoconferencias. Para monitorizar el entrenamiento, vas a definir métricas de evaluación de accuracy y F1, que miden el rendimiento general del modelo.

Las bibliotecas evaluate y numpy (np) ya se han importado.

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Carga la puntuación f1 usando la biblioteca evaluate; accuracy ya se ha cargado por ti.
Extrae logits y labels desempaquetando eval_predictions en dos variables.
Convierte logits en predictions.
Calcula la puntuación f1 a partir de predictions y labels.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar y ejecutar código