Évaluer les performances du modèle

L’équipe de PyBooks a bien avancé sur le moteur de recommandation de livres. L’équipe de modélisation vous a fourni deux modèles prêts à être intégrés à votre moteur de recommandation : un modèle basé sur une LSTM (lstm_model) et un autre utilisant une GRU (gru_model). Votre mission est d’évaluer et de comparer ces deux modèles.

Les étiquettes de test y_test ainsi que les prédictions du modèle y_pred_lstm pour lstm_model et y_pred_gru pour gru_model sont disponibles.

Cet exercice fait partie du cours

Deep Learning pour le texte avec PyTorch

Afficher le cours

Instructions

Définissez l’accuracy, la précision, le rappel et le F1 pour une classification multi-classes en spécifiant num_classes et task.
Calculez et affichez l’accuracy, la précision, le rappel et le score F1 pour lstm_model.
De même, calculez les métriques d’évaluation pour gru_model.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))

Modifier et exécuter le code