Đánh giá với METEOR
METEOR đặc biệt hiệu quả khi đánh giá một số đặc trưng ngữ nghĩa trong văn bản. Cách thức hoạt động tương tự ROUGE: so sánh đầu ra do mô hình tạo với đầu ra tham chiếu. Bạn đã được cung cấp các văn bản này dưới dạng generated và reference; giờ đến lượt bạn tính điểm đánh giá.
Thư viện evaluate đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Nhập môn LLMs trong Python
Hướng dẫn bài tập
- Tính và in ra điểm METEOR.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)