1. Learn
    2. /
  2. Cursuri
    3. /
  3. Introducere în LLM-uri cu Python
Connected

exercițiu

Traduceri BLEU

Hai să ne familiarizăm cu metrica BLEU.

A fost pregătit pentru tine un pipeline bazat pe modelul de traducere spaniolă-engleză Helsinki-NLP și metrica BLEU, încărcat cu evaluate.load("bleu") din biblioteca evaluate.

Iată datele de intrare și referințele folosite pentru evaluare:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

Instrucțiuni 1/2

undefined XP
  • 1
    • Transmite propoziția din input_sentence_1 către translator, apoi calculează metrica BLEU folosind reference_1.
  • 2
    • Repetă procesul, transmițând lista input_sentences_2 care conține două propoziții în spaniolă pentru tradus.