การประเมินประสิทธิภาพของโมเดล

ทีม PyBooks กำลังพัฒนาระบบแนะนำหนังสืออย่างต่อเนื่อง ทีมโมเดลได้เตรียมโมเดลสองแบบสำหรับระบบแนะนำหนังสือของ PyBooks โมเดลแรกใช้ LSTM (lstm_model) และอีกแบบใช้ GRU (gru_model) งานของคุณคือประเมินและเปรียบเทียบโมเดลทั้งสองนี้

ข้อมูลที่มีให้ได้แก่ label สำหรับชุดทดสอบ y_test พร้อมกับผลการพยากรณ์ y_pred_lstm สำหรับ lstm_model และ y_pred_gru สำหรับ gru_model

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning สำหรับข้อความด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

กำหนด accuracy, precision, recall และ F1 สำหรับการจำแนกประเภทแบบ multi-class โดยระบุ num_classes และ task
คำนวณและแสดงค่า accuracy, precision, recall และ F1 score สำหรับ lstm_model
คำนวณค่าเมตริกการประเมินสำหรับ gru_model ในลักษณะเดียวกัน

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))

แก้ไขและรันโค้ด