evaluate metriklerini kullanma
Müşteri destek etkileşimlerini sınıflandıran LLM'ini değerlendirme zamanı. İnce ayar yaptığın modelden kaldığın yerden devam ederek, şimdi modelinin performansını ölçmek için yeni bir doğrulama veri kümesi kullanacaksın.
Bazı etkileşimler ve bunlara karşılık gelen etiketler validate_text ve validate_labels olarak senin için yüklendi. model ve tokenizer da yüklü.
Bu egzersiz, kursun bir parçasıdır
Python ile LLM'lere Giriş
Egzersiz talimatları
outputsiçindeki model logits'lerinden tahmin edilen etiketleri çıkar.- Gerçek (
validate_labels) ve tahmin edilen etiketleri karşılaştırarak yüklenmiş dört metriği hesapla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))