Definir métricas de avaliação

Você está desenvolvendo um serviço de tradução de idiomas em tempo real para um aplicativo de videoconferência. Para monitorar o treinamento, você vai definir métricas de avaliação para acurácia e F1, que medem o desempenho geral do modelo.

As bibliotecas evaluate e numpy (np) já foram importadas.

Este exercicio faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercicio

Carregue a pontuação f1 usando a biblioteca evaluate; accuracy já foi carregada para você.
Extraia logits e labels desempacotando eval_predictions em duas variáveis.
Converta logits em predictions.
Calcule a pontuação f1 com base em predictions e labels.

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar e Executar Código