ÎncepețiÎncepe gratuit

Evaluarea modelelor de clasificare RNN

Echipa de la PyBooks vrea acum să evaluezi modelul RNN pe care l-ai creat și rulat folosind setul de date Newsgroup. Reamintește-ți că scopul era să clasifici articolele în una dintre cele trei categorii:

rec.autos, sci.med și comp.graphics.

Modelul a fost antrenat, iar pentru fiecare epocă ai afișat valoarea pierderii.

Folosește torchmetrics pentru a evalua diverse metrici ale modelului tău. Au fost încărcate deja: Accuracy, Precision, Recall, F1Score.

O instanță a modelului rnn_model, antrenat în exercițiul anterior, este și ea preîncărcată.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează o instanță a fiecărei metrici pentru clasificarea multi-clasă, cu num_classes egal cu numărul de categorii.
  • Generează predicțiile pentru rnn_model folosind datele de testare X_test_seq.
  • Calculează metricile folosind clasele prezise și etichetele reale.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))
Editează și rulează codul