Đánh giá hiệu suất của mô hình
Nhóm PyBooks đang đạt được những bước tiến với công cụ gợi ý sách. Nhóm mô hình đã cung cấp cho bạn hai mô hình khác nhau, sẵn sàng cho công cụ gợi ý sách tại PyBooks. Một mô hình dựa trên LSTM (lstm_model) và mô hình còn lại dùng GRU (gru_model). Nhiệm vụ của bạn là đánh giá và so sánh các mô hình này.
Nhãn kiểm thử y_test và các dự đoán của mô hình gồm y_pred_lstm cho lstm_model và y_pred_gru cho gru_model.
Bài tập này là một phần của khóa học
Deep Learning cho Văn bản với PyTorch
Hướng dẫn bài tập
- Định nghĩa accuracy, precision, recall và F1 cho phân loại đa lớp bằng cách chỉ định
num_classesvàtask. - Tính và in accuracy, precision, recall và F1 cho
lstm_model. - Tương tự, tính các chỉ số đánh giá cho
gru_model.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)
# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))
# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))