मल्टी-क्लास मॉडल मूल्यांकन
चलिए अपने क्लाउड क्लासिफायर का precision और recall से मूल्यांकन करते हैं ताकि पता चले कि यह सात क्लाउड टाइप्स को कितना अच्छी तरह वर्गीकृत करता है। इस multi-class classification टास्क में यह महत्वपूर्ण है कि आप स्कोर को क्लासेज़ पर कैसे average करते हैं। याद रखिए, इसके चार तरीके हैं:
- Averaging न करना, और हर क्लास के हिसाब से परिणामों का विश्लेषण करना;
- Micro-averaging, क्लासेज़ को अनदेखा कर सभी उदाहरणों पर global तरीके से metrics निकालना;
- Macro-averaging, हर क्लास के लिए metrics निकालकर उनका औसत लेना;
- Weighted-averaging, macro जैसा ही, लेकिन औसत को क्लास साइज के वज़न से लेना।
torchmetrics से Precision और Recall पहले से इम्पोर्ट हैं। अब देखते हैं हमारा मॉडल कैसा कर रहा है!
यह अभ्यास पाठ्यक्रम का हिस्सा है
इंटरमीडिएट Deep Learning with PyTorch
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Define metrics
metric_precision = Precision(task=____, num_classes=____, average=____)
metric_recall = ____
net.eval()
with torch.no_grad():
for images, labels in dataloader_test:
outputs = net(images)
_, preds = torch.max(outputs, 1)
metric_precision(preds, labels)
metric_recall(preds, labels)
precision = metric_precision.compute()
recall = metric_recall.compute()
print(f"Precision: {precision}")
print(f"Recall: {recall}")