开始使用免费开始使用

评估 RNN 分类模型

PyBooks 团队现在希望您评估之前使用 Newsgroup 数据集创建并运行的 RNN 模型。回顾一下,目标是将文章分类为 3 个类别之一:

rec.autossci.medcomp.graphics

模型已完成训练,并且您为每个 epoch 打印了损失值。

请使用 torchmetrics 来评估模型的多种指标。以下度量已为您加载:AccuracyPrecisionRecallF1Score

上一个练习中训练好的 rnn_model 实例也已预加载供您使用。

本练习是课程的一部分

使用 PyTorch 的文本深度学习

查看课程

练习说明

  • 为多类分类创建每个指标的实例,并将 num_classes 设为类别数量。
  • 使用测试数据 X_test_seqrnn_model 生成预测。
  • 使用预测的类别与真实标签计算各项指标。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)

# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)

# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))
编辑并运行代码