评估 RNN 分类模型
PyBooks 团队现在希望您评估之前使用 Newsgroup 数据集创建并运行的 RNN 模型。回顾一下,目标是将文章分类为 3 个类别之一:
rec.autos、sci.med 和 comp.graphics。
模型已完成训练,并且您为每个 epoch 打印了损失值。
请使用 torchmetrics 来评估模型的多种指标。以下度量已为您加载:Accuracy、Precision、Recall、F1Score。
上一个练习中训练好的 rnn_model 实例也已预加载供您使用。
本练习是课程的一部分
使用 PyTorch 的文本深度学习
练习说明
- 为多类分类创建每个指标的实例,并将
num_classes设为类别数量。 - 使用测试数据
X_test_seq为rnn_model生成预测。 - 使用预测的类别与真实标签计算各项指标。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create an instance of the metrics
accuracy = Accuracy(task="multiclass", ____)
precision = Precision(____, num_classes=____)
recall = Recall(task=____, num_classes=____)
f1 = F1Score(____, ____)
# Generate the predictions
outputs = ____(X_test_seq)
_, predicted = ____.____(outputs, 1)
# Calculate the metrics
accuracy_score = accuracy(____, y_test_seq)
precision_score = precision(____, y_test_seq)
recall_score = recall(____, y_test_seq)
f1_score = f1(____, y_test_seq)
print("RNN Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_score, precision_score, recall_score, f1_score))