评估模型性能
PyBooks 团队在图书推荐引擎上已经取得进展。建模团队为您的 PyBooks 推荐引擎提供了两个可用模型。一个基于 LSTM(lstm_model),另一个使用 GRU(gru_model)。您的任务是评估并比较这两个模型。
测试标签为 y_test,同时还提供了 lstm_model 的预测 y_pred_lstm 和 gru_model 的预测 y_pred_gru。
本练习是课程的一部分
使用 PyTorch 的文本深度学习
练习说明
- 通过指定
num_classes和task来定义多分类的 accuracy、precision、recall 和 F1。 - 计算并打印
lstm_model的 accuracy、precision、recall 和 F1 分数。 - 同样地,计算
gru_model的评估指标。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)
# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))
# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))