BLEU अनुवाद
आइए BLEU मेट्रिक से परिचित होते हैं.
Helsinki-NLP के Spanish-English अनुवाद मॉडल और BLEU मेट्रिक पर आधारित एक पाइपलाइन आपके लिए लोड की गई है, जो evaluate लाइब्रेरी के evaluate.load("bleu") का उपयोग करती है.
मूल्यांकन के लिए दिए गए इनपुट और रेफरेंसेज़ निम्न हैं:
input_sentence_1 = "Hola, ¿cómo estás?"
reference_1 = [
["Hello, how are you?", "Hi, how are you?"]
]
input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]
references_2 = [
["Hello, how are you?", "Hi, how are you?"],
["I'm great, thanks.", "I'm great, thank you."]
]
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में LLMs का परिचय
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
translator = pipeline("translation", model="Helsinki-NLP/opus-mt-es-en")
# Translate the first input sentence then calucate the BLEU metric for translation quality
translated_output = ____
translated_sentence = translated_output[0]['translation_text']
print("Translated:", translated_sentence)
results = bleu.____(predictions=____, references=____)
print(results)