Kom igångKom igång gratis

Utvärdera modellens prestanda

PyBooks-teamet har gjort framsteg med bokrekommendationsmotorn. Modelleringsteamet har tagit fram två olika modeller som är redo att användas i din bokrekommendationsmotor hos PyBooks. En modell baseras på LSTM (lstm_model) och den andra använder GRU (gru_model). Din uppgift är att utvärdera och jämföra dessa modeller.

Testetiketter y_test och modellens prediktioner y_pred_lstm för lstm_model samt y_pred_gru för gru_model finns tillgängliga.

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

Visa kurs

Övningsinstruktioner

  • Definiera noggrannhet, precision, återkallelse och F1 för flerklassklassificering genom att ange num_classes och task.
  • Beräkna och skriv ut noggrannhet, precision, återkallelse och F1-poäng för lstm_model.
  • Beräkna på samma sätt utvärderingsmåtten för gru_model.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))
Redigera och kör kod