CommencezCommencez gratuitement

Évaluer la performance du modèle

L'équipe de PyBooks a réalisé de bons progrès sur le moteur de recommandation de livres. L'équipe de modélisation vous a fourni deux modèles prêts à être intégrés à votre moteur de recommandation chez PyBooks. Un modèle est basé sur un LSTM (lstm_model) et l'autre utilise un GRU (gru_model). Votre mandat est d'évaluer et de comparer ces modèles.

Les étiquettes de test y_test et les prédictions des modèles y_pred_lstm pour lstm_model et y_pred_gru pour gru_model sont fournies.

Cette activité fait partie du cours

Apprentissage profond pour le texte avec PyTorch

Voir le cours

Instructions de l’exercice

  • Définissez l'exactitude, la précision, le rappel et le F1 pour une classification multiclasse en précisant num_classes et task.
  • Calculez et affichez l'exactitude, la précision, le rappel et la mesure F1 pour lstm_model.
  • De la même façon, calculez les mesures d'évaluation pour gru_model.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))
Modifier et exécuter le code