Definir métricas de avaliação

Você está desenvolvendo um serviço de tradução de idiomas em tempo real em um aplicativo de videoconferência. Para monitorar o treinamento, você definirá métricas de avaliação para precisão e pontuação F1, que medem o desempenho geral do modelo.

As bibliotecas evaluate e numpy (np) foram pré-importadas.

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Carregue a pontuaçãof1 usando a biblioteca evaluate; a accuracy foi carregada para você.
Extraia logits e labels da entrada eval_predictions.
Converter logits para predictions.
Calcule a pontuação f1 com base em predictions e labels.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = ____("____")
    # Extract logits and labels from eval_predictions
    ____, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(____, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Editar e executar o código