1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Nhập môn LLMs trong Python
Connected

Bài tập

Dịch BLEU

Hãy làm quen với thước đo BLEU.

Một pipeline dựa trên mô hình dịch Tây Ban Nha–Anh của Helsinki-NLP và thước đo BLEU đã được tải sẵn cho bạn, sử dụng evaluate.load("bleu") từ thư viện evaluate.

Với các đầu vào và tham chiếu để đánh giá như sau:

input_sentence_1 = "Hola, ¿cómo estás?"

reference_1 = [
     ["Hello, how are you?", "Hi, how are you?"]
     ]

input_sentences_2 = ["Hola, ¿cómo estás?", "Estoy genial, gracias."]

references_2 = [
     ["Hello, how are you?", "Hi, how are you?"],
     ["I'm great, thanks.", "I'm great, thank you."]
     ]

Hướng dẫn 1/2

undefined XP
  • 1
    • Truyền câu đầu vào trong input_sentence_1 vào bộ dịch, sau đó tính thước đo BLEU bằng reference_1.
  • 2
    • Lặp lại quy trình, truyền vào danh sách input_sentences_2 chứa hai câu tiếng Tây Ban Nha để dịch.