MulaiMulai sekarang secara gratis

Evaluasi dengan ROUGE

ROUGE umum digunakan untuk mengevaluasi tugas peringkasan karena memeriksa kesamaan antara prediksi dan referensi. Anda telah diberikan ringkasan yang dihasilkan model, predictions, dan ringkasan references sebagai pembanding. Hitung skornya untuk melihat seberapa baik kinerja model.

Pustaka evaluate telah dimuat untuk Anda.

Latihan ini adalah bagian dari kursus

Pengantar LLM di Python

Lihat Kursus

Petunjuk latihan

  • Muat metrik ROUGE.
  • Hitung skor ROUGE antara ringkasan prediksi dan referensi.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Edit dan Jalankan Kode