METEOR के साथ मूल्यांकन
METEOR टेक्स्ट में अधिक सैमांटिक फीचर्स का मूल्यांकन करने में बेहतर है. यह ROUGE की तरह काम करता है—मॉडल-जनरेटेड आउटपुट को एक रेफरेंस आउटपुट से तुलना करके. आपको ये टेक्स्ट generated और reference के रूप में दिए गए हैं; अब स्कोर का मूल्यांकन करना आपके हाथ में है.
evaluate लाइब्रेरी आपके लिए लोड कर दी गई है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में LLMs का परिचय
अभ्यास निर्देश
- METEOR स्कोर की गणना करें और प्रिंट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)