Avaliando o desempenho do modelo

A equipe da PyBooks vem avançando no mecanismo de recomendação de livros. O time de modelagem forneceu dois modelos diferentes prontos para o seu mecanismo de recomendação: um modelo baseado em LSTM (lstm_model) e outro que usa uma GRU (gru_model). Sua tarefa é avaliar e comparar esses modelos.

As etiquetas de teste y_test e as previsões dos modelos são y_pred_lstm para o lstm_model e y_pred_gru para o gru_model.

Este exercício faz parte do curso

Deep Learning para Texto com PyTorch

Ver curso

Instruções do exercício

Defina accuracy, precision, recall e F1 para classificação multiclasse especificando num_classes e task.
Calcule e imprima a accuracy, precision, recall e a pontuação F1 para o lstm_model.
Da mesma forma, calcule as métricas de avaliação para o gru_model.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))

Editar e executar o código