शुरू करेंमुफ़्त में शुरू करें

evaluate मेट्रिक्स का उपयोग

अब ग्राहक सपोर्ट इंटरैक्शन को वर्गीकृत करने वाले अपने LLM का मूल्यांकन करने का समय है। जहाँ आपने अपने फाइन-ट्यून किए गए मॉडल को छोड़ा था, वहीं से आगे बढ़ते हुए, आप अब अपने मॉडल के प्रदर्शन का आकलन करने के लिए एक नया वैलिडेशन डेटासेट उपयोग करेंगे.

कुछ इंटरैक्शन और उनके संबंधित लेबल आपके लिए validate_text और validate_labels के रूप में लोड कर दिए गए हैं। model और tokenizer भी लोड हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में LLMs का परिचय

पाठ्यक्रम देखें

अभ्यास निर्देश

  • outputs में मौजूद मॉडल logits से predicted labels निकालें.
  • वास्तविक (validate_labels) और predicted labels की तुलना करके लोड की गई चारों मेट्रिक्स compute करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")

# Extract the new predictions
predicted_labels = ____

# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
कोड संपादित करें और चलाएँ