1. Learn
    2. /
  2. Курси
    3. /
  3. Вступ до LLM у Python
Connected

вправа

Переклади BLEU

Давайте познайомимося з метрикою BLEU.

Для вас завантажено конвеєр на основі іспансько-англійської моделі перекладу Helsinki-NLP і метрики BLEU, використовуючи evaluate.load("bleu") з бібліотеки evaluate.

Маючи такі вхідні дані та еталонні переклади для оцінювання:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

Інструкції 1/2

undefined XP
  • 1
    • Передайте речення з input_sentence_1 у перекладач, потім обчисліть метрику BLEU, використовуючи reference_1.
  • 2
    • Повторіть кроки, передавши список input_sentences_2, що містить два іспанські речення для перекладу.