Valutare le prestazioni del modello
Il team di PyBooks sta facendo progressi sul motore di raccomandazione dei libri. Il team di modellazione ti ha fornito due modelli diversi, pronti per il motore di raccomandazione di PyBooks. Un modello è basato su LSTM (lstm_model) e l'altro usa una GRU (gru_model). Il tuo compito è valutare e confrontare questi modelli.
Sono disponibili le etichette di test y_test e le predizioni del modello y_pred_lstm per lstm_model e y_pred_gru per gru_model.
Questo esercizio fa parte del corso
Deep Learning per il testo con PyTorch
Istruzioni dell'esercizio
- Definisci accuracy, precision, recall e F1 per la classificazione multi-classe specificando
num_classesetask. - Calcola e stampa accuracy, precision, recall e F1 per
lstm_model. - Allo stesso modo, calcola le metriche di valutazione per
gru_model.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)
# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))
# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))