METEOR ile değerlendirme
METEOR, metindeki daha anlamsal özellikleri değerlendirmede çok başarılıdır. ROUGE'a benzer şekilde, modelin ürettiği çıktıyı bir başvuru çıktısıyla karşılaştırır. Bu metinler sana generated ve reference olarak verildi; şimdi puanı değerlendirmen gerekiyor.
evaluate kütüphanesi senin için yüklendi.
Bu egzersiz
Python ile LLM'lere Giriş
kursunun bir parçasıdırEgzersiz talimatları
- METEOR puanını hesapla ve yazdır.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)