Avaliando modelos de classificação com RNN

A equipe da PyBooks agora quer que você avalie o modelo RNN que foi criado e executado usando o conjunto de dados Newsgroup. Lembre-se: o objetivo era classificar os artigos em uma de três categorias:

rec.autos, sci.med e comp.graphics.

O modelo foi treinado e você imprimiu a época (epoch) e a perda (loss) para cada modelo.

Use torchmetrics para avaliar várias métricas do seu modelo. As seguintes já foram carregadas: Accuracy, Precision, Recall, F1Score.

Uma instância de rnn_model treinada no exercício anterior também está pré-carregada para você.

Este exercício faz parte do curso

Deep Learning para Texto com PyTorch

Ver curso

Instruções do exercício

Crie uma instância de cada métrica para classificação multiclasse com num_classes igual ao número de categorias.
Gere as previsões do rnn_model usando os dados de teste X_test_seq.
Calcule as métricas usando as classes previstas e os rótulos verdadeiros.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))

Editar e executar o código