LoslegenKostenlos loslegen

BLEU-Übersetzungen

Schauen wir uns die Kennzahl BLEU an.

Eine Pipeline, die auf dem Helsinki-NLP-Übersetzungsmodell für Spanisch und Englisch und der BLEU-Metrik basiert, wurde für dich mit evaluate.load("bleu") aus der Bibliothek evaluate geladen.

Gegeben sind die folgenden Eingaben und Referenzen für die Bewertung:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [

     ["Hello, how are you?", "Hi, how are you?"]

     ]




input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [

     ["Hello, how are you?", "Hi, how are you?"],

     ["I'm great, thanks.", "I'm great, thank you."]

     ]

Diese Übung ist Teil des Kurses

Einführung in LLMs mit Python

Kurs anzeigen

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-es-en")

# Translate the first input sentence then calucate the BLEU metric for translation quality
translated_output = ____

translated_sentence = translated_output[0]['translation_text']

print("Translated:", translated_sentence)

results = bleu.____(predictions=____, references=____)
print(results)
Code bearbeiten und ausführen