Ocena wydajności modelu

Zespół PyBooks robi postępy przy silniku rekomendacji książek. Zespół ds. modelowania przygotował dwa modele gotowe do użycia w tym silniku. Jeden model oparty jest na LSTM (lstm_model), drugi korzysta z GRU (gru_model). Twoim zadaniem jest ocena i porównanie tych modeli.

Do dyspozycji masz etykiety testowe y_test oraz predykcje modeli: y_pred_lstm dla lstm_model i y_pred_gru dla gru_model.

To ćwiczenie jest częścią kursu

Uczenie głębokie dla tekstu z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Zdefiniuj dokładność (accuracy), precyzję (precision), czułość (recall) i miarę F1 dla klasyfikacji wieloklasowej, podając num_classes i task.
Oblicz i wypisz dokładność, precyzję, czułość oraz miarę F1 dla lstm_model.
W analogiczny sposób oblicz metryki ewaluacji dla gru_model.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))

Edytuj i uruchom kod