BLEU 翻訳
BLEU 指標に慣れていきましょう。
Helsinki-NLP のスペイン語→英語翻訳モデルと BLEU 指標を組み合わせたパイプラインが、evaluate.load("bleu") ライブラリの evaluate を使って事前に読み込まれています。
評価に使用する入力文と参照訳は以下のとおりです。
input_sentence_1 = "Hola, ¿cómo estás?"
reference_1 = [
["Hello, how are you?", "Hi, how are you?"]
]
input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]
references_2 = [
["Hello, how are you?", "Hi, how are you?"],
["I'm great, thanks.", "I'm great, thank you."]
]
この演習はコースの一部です
Python で学ぶ LLM の入門
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
translator = pipeline("translation", model="Helsinki-NLP/opus-mt-es-en")
# Translate the first input sentence then calucate the BLEU metric for translation quality
translated_output = ____
translated_sentence = translated_output[0]['translation_text']
print("Translated:", translated_sentence)
results = bleu.____(predictions=____, references=____)
print(results)