1. Learn
    2. /
  2. Courses
    3. /
  3. Introduction aux LLM avec Python
Connected

Exercise

Traductions BLEU

Familiarisons-nous avec la métrique BLEU.

Un pipeline basé sur le modèle de traduction espagnol-anglais Helsinki-NLP et sur la métrique BLEU a été chargé pour vous, en utilisant evaluate.load("bleu") de la bibliothèque evaluate.

Étant donné les entrées et références suivantes pour l'évaluation :

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

Instructions 1/2

undefined XP
  • 1
    • Passez la phrase d'entrée dans input_sentence_1 au traducteur, puis calculez la métrique BLEU en utilisant reference_1.
  • 2
    • Répétez le processus en transmettant la liste input_sentences_2 qui contient deux phrases en espagnol à traduire.