Defina métricas de avaliação

Você está desenvolvendo um serviço de tradução de idiomas em tempo real para um aplicativo de videoconferência. Para monitorar o treinamento, você vai definir métricas de avaliação para acurácia e F1-score, que medem o desempenho geral do modelo.

As bibliotecas evaluate e numpy (np) já foram importadas.

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercício

Carregue o f1 score usando a biblioteca evaluate; accuracy já foi carregada para você.
Extraia logits e labels da entrada eval_predictions.
Converta logits em predictions.
Calcule o f1 score com base em predictions e labels.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar e executar o código