Kom igångKom igång gratis

Utvärdering av RNN-klassificeringsmodeller

Teamet på PyBooks vill nu att du utvärderar den RNN-modell du skapade och körde med Newsgroup-datamängden. Kom ihåg att målet var att klassificera artiklarna i en av tre kategorier:

rec.autos, sci.med och comp.graphics.

Modellen har tränats och du skrev ut epok och förlust för varje modell.

Använd torchmetrics för att utvärdera olika mått för din modell. Följande har laddats in: Accuracy, Precision, Recall, F1Score.

En instans av rnn_model tränad i föregående övning är också förinläst åt dig.

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

Visa kurs

Övningsinstruktioner

  • Skapa en instans av varje mått för flerklass-klassificering med num_classes satt till antalet kategorier.
  • Generera prediktionerna för rnn_model med testdatan X_test_seq.
  • Beräkna måtten med de predikterade klasserna och de sanna etiketterna.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))
Redigera och kör kod