Tetapkan metrik evaluasi
Anda sedang mengembangkan layanan penerjemahan bahasa real-time dalam aplikasi konferensi video. Untuk memantau pelatihan, Anda akan menetapkan metrik evaluasi untuk akurasi dan skor F1, yang mengukur kinerja model secara keseluruhan.
Pustaka evaluate dan numpy (np) telah diimpor sebelumnya.
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Muat skor
f1menggunakan pustakaevaluate;accuracytelah dimuat untuk Anda. - Ekstrak
logitsdanlabelsdengan membuka paketeval_predictionske dalam dua variabel. - Konversi
logitsmenjadipredictions. - Hitung skor
f1berdasarkanpredictionsdanlabels.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
def compute_metrics(eval_predictions):
load_accuracy = evaluate.load("accuracy")
# Load the F1 score
load_f1 = evaluate.load("____")
# Extract logits and labels from eval_predictions
logits, ____ = eval_predictions
# Convert logits to predictions
predictions = np.____(logits, axis=-1)
accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
# Compute the F1 score
f1 = ____.____(predictions=predictions, references=labels)["f1"]
return {"accuracy": accuracy, "f1": f1}