evaluate metriklerini kullanma
Müşteri destek etkileşimlerini sınıflandıran LLM'ini değerlendirme zamanı. İnce ayar yaptığın modelden kaldığın yerden devam ederek, şimdi modelinin performansını ölçmek için yeni bir doğrulama veri kümesi kullanacaksın.
Bazı etkileşimler ve bunlara karşılık gelen etiketler validate_text ve validate_labels olarak senin için yüklendi. model ve tokenizer da yüklü.
Bu egzersiz
Python ile LLM'lere Giriş
kursunun bir parçasıdırEgzersiz talimatları
outputsiçindeki model logits'lerinden tahmin edilen etiketleri çıkar.- Gerçek (
validate_labels) ve tahmin edilen etiketleri karşılaştırarak yüklenmiş dört metriği hesapla.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))