BLEU 번역

이제 BLEU 지표에 익숙해져 볼까요.

Helsinki-NLP 스페인어-영어 번역 모델과 BLEU 지표를 기반으로 한 파이프라인이 미리 로드되어 있어요. evaluate 라이브러리의 evaluate.load("bleu")를 사용했습니다.

다음의 입력과 기준(reference)을 가지고 평가해 보세요:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

1
- input_sentence_1의 입력 문장을 번역기에 전달한 뒤, reference_1을 사용해 BLEU 지표를 계산하세요.

2
- 같은 과정을 반복하되, 스페인어 문장 두 개가 들어 있는 리스트 input_sentences_2를 전달하세요.