Đánh giá mô hình sinh văn bản đã được huấn luyện sẵn
Nhóm PyBooks đã dùng mô hình GPT-2 đã được huấn luyện sẵn mà bạn vừa thử nghiệm để sinh văn bản từ một prompt cho trước. Giờ họ muốn đánh giá chất lượng của văn bản đã sinh. Để làm được điều đó, họ giao cho bạn nhiệm vụ đánh giá văn bản sinh ra bằng cách so sánh với một văn bản tham chiếu.
BLEUScore, ROUGEScore đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Deep Learning cho Văn bản với PyTorch
Hướng dẫn bài tập
- Bắt đầu bằng cách khởi tạo hai độ đo (BLEU và ROUGE) từ
torchmetrics.text. - Dùng các độ đo đã khởi tạo để tính điểm giữa văn bản sinh ra và văn bản tham chiếu.
- Hiển thị điểm BLEU và ROUGE đã tính.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."
# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()
# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])
# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)