शुरू करेंमुफ़्त में शुरू करें

कस्टम डेटासेट पर मॉडल का मूल्यांकन

इस अभ्यास में, आप Hugging Face के evaluate पैकेज से evaluator का उपयोग करके किसी pretrained मॉडल का कस्टम डेटासेट पर प्रदर्शन जाँचेंगे. ध्यान दें कि multi-class classification में, जब डेटासेट असंतुलित हो, तो accuracy विश्वसनीय संकेतक नहीं होती. इसलिए, आप evaluator की यह क्षमता उपयोग करेंगे कि वह एक साथ कई मेट्रिक्स दे सके: precision और recall.

एक डेटासेट (dataset) और पाइपलाइन (pipe) पहले से परिभाषित हैं. evaluate लाइब्रेरी और evaluator class भी पहले से इम्पोर्ट किए गए हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Hugging Face के साथ मल्टी-मोडल मॉडल्स

पाठ्यक्रम देखें

अभ्यास निर्देश

  • अपनी "image-classification" task के लिए एक evaluator instantiate करें.
  • पाइपलाइन से integer-to-string लेबल मैपिंग निकालें.
  • metrics_dict और label_map में दिए गए मेट्रिक्स का उपयोग करके डेटासेट (dataset) और पाइपलाइन (pipe) का मूल्यांकन करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Instantiate the task evaluator
task_evaluator = ____("____")

task_evaluator.METRIC_KWARGS = {"average": "weighted"}

# Get label map from pipeline
label_map = pipe.model.config.____

# Compute the metrics
eval_results = task_evaluator.____(model_or_pipeline=pipe, data=dataset, 
                         metric=evaluate.____(metrics_dict), label_mapping=____)

print(f"Precision: {eval_results['precision']:.2f}, Recall: {eval_results['recall']:.2f}")
कोड संपादित करें और चलाएँ