1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Wprowadzenie do LLM w Pythonie
Connected

cvičení

Tłumaczenia z metryką BLEU

Zapoznajmy się z metryką BLEU.

Potok oparty na modelu tłumaczeń hiszpańsko-angielskich Helsinki-NLP oraz metryka BLEU zostały już dla ciebie załadowane – za pomocą evaluate.load("bleu") z biblioteki evaluate.

Dane wejściowe i referencje do ewaluacji:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

Instrukce 1/2

undefined XP
  • 1
    • Przekaż zdanie z input_sentence_1 do translatora, a następnie oblicz metrykę BLEU, używając reference_1.
  • 2
    • Powtórz ten proces, przekazując listę input_sentences_2 zawierającą dwa zdania w języku hiszpańskim do przetłumaczenia.