BaşlayınÜcretsiz başlayın

Özel bir veri kümesinde model değerlendirme

Bu egzersizde, Hugging Face evaluate paketindeki bir evaluator kullanarak önceden eğitilmiş bir modelin özel bir veri kümesi üzerindeki performansını ölçeceksin. Dikkat: Sınıflar arası dengesizlik olan çok sınıflı sınıflandırmada, doğruluk (accuracy) güvenilir bir performans göstergesi değildir. Bu nedenle, evaluator'ın aynı anda birden çok ölçüt sağlayabilme özelliğinden yararlanarak kesinlik (precision) ve geri çağırma (recall) değerlerini kullanacaksın.

Bir veri kümesi (dataset) ve bir pipeline (pipe) önceden tanımlandı. evaluate kütüphanesi ve evaluator sınıfı da zaten içe aktarıldı.

Bu egzersiz, kursun bir parçasıdır

Hugging Face ile Multi-Modal Modeller

Kursa Göz Atın

Egzersiz talimatları

  • "image-classification" görevin için bir evaluator örnekle.
  • Etiketlerin tamsayıdan metne eşlemesini pipeline üzerinden çıkar.
  • metrics_dict ve label_map içinde saklanan ölçütleri kullanarak dataset ve pipe ile değerlendirme yap.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Instantiate the task evaluator
task_evaluator = ____("____")

task_evaluator.METRIC_KWARGS = {"average": "weighted"}

# Get label map from pipeline
label_map = pipe.model.config.____

# Compute the metrics
eval_results = task_evaluator.____(model_or_pipeline=pipe, data=dataset, 
                         metric=evaluate.____(metrics_dict), label_mapping=____)

print(f"Precision: {eval_results['precision']:.2f}, Recall: {eval_results['recall']:.2f}")
Kodu Düzenle ve Çalıştır