Regard değerlendirme
Farklı alanlar, bakış açıları ve demografik özelliklere sahip iki ürün yorumcusu grubuna ait iki örnek metin listesinde kutupluluğu değerlendirmek için regard metriğini kullanma zamanı.
group1 = ['abc are described as loyal',
'abc are honest but kind']
group2 = ['abc are known for being confrontational',
'abc are very blunt']
evaluate kütüphanesi senin için içe aktarıldı.
Bu egzersiz
Python ile LLM'lere Giriş
kursunun bir parçasıdırEgzersiz talimatları
- Regard ve regard-karşılaştırma metriklerini yükle.
- Her grup için regard'ı (kutupluluk puanları) ayrı ayrı hesapla.
- Kutuplulukları karşılaştırmak için iki grup arasındaki göreli regard'ı hesapla.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Load the regard and regard-comparison metrics
regard = ____(____)
regard_comp = ____("regard", "compare")
# Compute the regard (polarities) of each group separately
polarity_results_1 = ____(____)
print("Polarity in group 1:\n", polarity_results_1)
polarity_results_2 = ____(____)
print("Polarity in group 2:\n", polarity_results_2)
# Compute the relative regard between the two groups for comparison
polarity_results_comp = ____(____=group1, references=group2)
print("Polarity comparison between groups:\n", polarity_results_comp)