Tetapkan metrik evaluasi

Anda sedang mengembangkan layanan penerjemahan bahasa real-time dalam aplikasi konferensi video. Untuk memantau pelatihan, Anda akan menetapkan metrik evaluasi untuk akurasi dan skor F1, yang mengukur kinerja model secara keseluruhan.

Pustaka evaluate dan numpy (np) telah diimpor sebelumnya.

Latihan ini adalah bagian dari kursus

Pelatihan Model AI Efisien dengan PyTorch

Lihat Kursus

Petunjuk latihan

Muat skor f1 menggunakan pustaka evaluate; accuracy telah dimuat untuk Anda.
Ekstrak logits dan labels dengan membuka paket eval_predictions ke dalam dua variabel.
Konversi logits menjadi predictions.
Hitung skor f1 berdasarkan predictions dan labels.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Edit dan Jalankan Kode