Ocena modeli klasyfikacyjnych RNN

Zespół PyBooks chce teraz, abyś ocenił model RNN stworzony i uruchomiony na zbiorze danych Newsgroup. Przypomnij sobie: celem było sklasyfikowanie artykułów do jednej z trzech kategorii:

rec.autos, sci.med i comp.graphics.

Model został wytrenowany, a dla każdej epoki wyświetlono numer epoki oraz wartość straty.

Użyj biblioteki torchmetrics, aby obliczyć różne metryki dla swojego modelu. Wczytane zostały następujące klasy: Accuracy, Precision, Recall, F1Score.

Instancja modelu rnn_model wytrenowanego w poprzednim ćwiczeniu jest już dla ciebie wczytana.

To ćwiczenie jest częścią kursu

Uczenie głębokie dla tekstu z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Utwórz instancję każdej metryki dla klasyfikacji wieloklasowej, ustawiając parametr num_classes równy liczbie kategorii.
Wygeneruj predykcje modelu rnn_model na danych testowych X_test_seq.
Oblicz metryki, korzystając z przewidywanych klas i rzeczywistych etykiet.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))

Edytuj i uruchom kod