BaşlayınÜcretsiz Başlayın

ROUGE ile değerlendirme

ROUGE, özetleme görevlerini değerlendirmede yaygın olarak kullanılır; çünkü tahminler ile başvurular arasındaki benzerlikleri kontrol eder. Sana model tarafından üretilmiş bir özet olan predictions ve doğrulamak için bir references özeti verildi. Modelin ne kadar iyi performans gösterdiğini görmek için skorları hesapla.

evaluate kütüphanesi senin için yüklendi.

Bu egzersiz

Python ile LLM'lere Giriş

kursunun bir parçasıdır
Kursu Görüntüle

Egzersiz talimatları

  • ROUGE metriğini yükle.
  • Tahmin ve başvuru özetleri arasındaki ROUGE skorlarını hesapla.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Kodu Düzenle ve Çalıştır