การแปลด้วย BLEU

มาทำความคุ้นเคยกับเมตริก BLEU กัน

ไปป์ไลน์ที่ใช้โมเดลแปลภาษาสเปน-อังกฤษจาก Helsinki-NLP และเมตริก BLEU ได้ถูกโหลดไว้ให้แล้ว โดยใช้ evaluate.load("bleu") จากไลบรารี evaluate

กำหนดข้อมูลนำเข้าและข้อมูลอ้างอิงสำหรับการประเมินดังนี้:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Python เบื้องต้นสำหรับ LLMs

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-es-en")

# Translate the first input sentence then calucate the BLEU metric for translation quality
translated_output = ____

translated_sentence = translated_output[0]['translation_text']

print("Translated:", translated_sentence)

results = bleu.____(predictions=____, references=____)
print(results)

แก้ไขและรันโค้ด