Evaluación de modelos de clasificación con RNN

El equipo de PyBooks ahora quiere que evalúes el modelo RNN que creaste y ejecutaste usando el conjunto de datos Newsgroup. Recuerda que el objetivo era clasificar los artículos en una de tres categorías:

rec.autos, sci.med y comp.graphics.

El modelo se entrenó y se imprimieron la época y la pérdida para cada modelo.

Usa torchmetrics para evaluar varias métricas de tu modelo. Ya están cargadas: Accuracy, Precision, Recall, F1Score.

También tienes precargada una instancia de rnn_model entrenada en el ejercicio anterior.

Este ejercicio forma parte del curso

Deep Learning para texto con PyTorch

Ver curso

Instrucciones del ejercicio

Crea una instancia de cada métrica para clasificación multiclase con num_classes igual al número de categorías.
Genera las predicciones de rnn_model usando los datos de prueba X_test_seq.
Calcula las métricas usando las clases predichas y las etiquetas verdaderas.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))

Editar y ejecutar código