मॉडल के प्रदर्शन का मूल्यांकन
PyBooks टीम ने बुक रिकमेंडेशन इंजन पर अच्छी प्रगति की है. मॉडलिंग टीम ने आपके लिए PyBooks के बुक रिकमेंडेशन इंजन हेतु दो अलग-अलग मॉडल तैयार किए हैं. एक मॉडल LSTM (lstm_model) पर आधारित है और दूसरा GRU (gru_model) का उपयोग करता है. आपको इन मॉडलों का मूल्यांकन करने और तुलना करने का कार्य सौंपा गया है.
टेस्टिंग लेबल y_test और मॉडलों की भविष्यवाणियाँ — lstm_model के लिए y_pred_lstm और gru_model के लिए y_pred_gru — उपलब्ध हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग
अभ्यास निर्देश
num_classesऔरtaskनिर्दिष्ट करके multi-class classification के लिए accuracy, precision, recall और F1 परिभाषित करें.lstm_modelके लिए accuracy, precision, recall और F1 स्कोर की गणना करें और प्रिंट करें.- इसी तरह,
gru_modelके लिए भी evaluation metrics की गणना करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)
# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))
# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))