Değerlendirme metriklerini tanımla

Bir video konferans uygulamasında gerçek zamanlı bir dil çeviri hizmeti geliştiriyorsun. Eğitimi izlemek için, genel model performansını ölçen accuracy ve F1 skoruna yönelik değerlendirme metriklerini tanımlayacaksın.

evaluate ve numpy (np) kütüphaneleri önceden içe aktarıldı.

Bu egzersiz, kursun bir parçasıdır

PyTorch ile Verimli AI Model Eğitimi

Kursa Göz Atın

Egzersiz talimatları

evaluate kütüphanesini kullanarak f1 skorunu yükle; accuracy senin için yüklendi.
eval_predictions'ı iki değişkene açarak logits ve labels değerlerini çıkar.
logits değerlerini predictions'a dönüştür.
predictions ve labels'a göre f1 skorunu hesapla.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Kodu Düzenle ve Çalıştır