Đánh giá với ROUGE
ROUGE thường được dùng để đánh giá bài toán tóm tắt vì nó kiểm tra mức độ tương đồng giữa dự đoán và tham chiếu. Bạn đã được cung cấp một bản tóm tắt do mô hình sinh ra, predictions, và một bản tóm tắt references để đối chiếu. Hãy tính điểm để xem mô hình hoạt động tốt đến mức nào.
Thư viện evaluate đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Nhập môn LLMs trong Python
Hướng dẫn bài tập
- Tải chỉ số ROUGE.
- Tính điểm ROUGE giữa bản tóm tắt dự đoán và bản tóm tắt tham chiếu.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load the rouge metric
rouge = ____
predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]
# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)