EM ile değerlendirme
Exact Match, çıkarımsal soru-cevap görevlerinde modelleri değerlendirirken, tahmin ettiğin gibi, birebir eşleşmeleri arayarak yardımcı olur! Yine, değerlendirme için bazı predictions ve references sağlandı. evaluate kütüphanesi senin için yüklendi.
Bu egzersiz, kursun bir parçasıdır
Python ile LLM'lere Giriş
Egzersiz talimatları
- Exact Match metriğini yükle.
- Exact Match puanını hesapla ve sonuçları yazdır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)