शुरू करेंमुफ़्त में शुरू करें

METEOR के साथ मूल्यांकन

METEOR टेक्स्ट में अधिक सैमांटिक फीचर्स का मूल्यांकन करने में बेहतर है. यह ROUGE की तरह काम करता है—मॉडल-जनरेटेड आउटपुट को एक रेफरेंस आउटपुट से तुलना करके. आपको ये टेक्स्ट generated और reference के रूप में दिए गए हैं; अब स्कोर का मूल्यांकन करना आपके हाथ में है.

evaluate लाइब्रेरी आपके लिए लोड कर दी गई है.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में LLMs का परिचय

पाठ्यक्रम देखें

अभ्यास निर्देश

  • METEOR स्कोर की गणना करें और प्रिंट करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
कोड संपादित करें और चलाएँ