ПочатиПочніть безкоштовно

Оцінювання моделей класифікації RNN

Команда PyBooks тепер хоче, щоб ви оцінили модель RNN, яку ви створили та запускали на наборі даних Newsgroup. Нагадаємо, мета — класифікувати статті в одну з трьох категорій:

rec.autos, sci.med та comp.graphics.

Модель було натреновано, і ви виводили епоху та втрату для кожної ітерації.

Використайте torchmetrics, щоб оцінити різні метрики для вашої моделі. Для вас уже завантажено: Accuracy, Precision, Recall, F1Score.

Екземпляр rnn_model, натренований у попередній вправі, також попередньо завантажено.

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Інструкції до вправи

  • Створіть екземпляр кожної метрики для багатокласової класифікації з num_classes, рівним кількості категорій.
  • Згенеруйте передбачення для rnn_model, використовуючи тестові дані X_test_seq.
  • Обчисліть метрики, використовуючи передбачені класи та справжні мітки.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))
Редагувати та запускати код