กำหนดเมตริกสำหรับการประเมินผล
คุณกำลังพัฒนาบริการแปลภาษาแบบเรียลไทม์สำหรับแอปพลิเคชันประชุมทางวิดีโอ เพื่อติดตามกระบวนการเทรน จะต้องกำหนดเมตริกสำหรับการประเมินผล ได้แก่ ความแม่นยำ (accuracy) และ F1 score ซึ่งวัดประสิทธิภาพโดยรวมของโมเดล
ไลบรารี evaluate และ numpy (np) ถูกนำเข้ามาแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch
คำแนะนำการฝึกหัด
- โหลดคะแนน
f1โดยใช้ไลบรารีevaluateโดยที่accuracyถูกโหลดไว้ให้แล้ว - ดึง
logitsและlabelsออกมาโดยแกะeval_predictionsให้เป็นสองตัวแปร - แปลง
logitsให้เป็นpredictions - คำนวณคะแนน
f1โดยอิงจากpredictionsและlabels
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def compute_metrics(eval_predictions):
load_accuracy = evaluate.load("accuracy")
# Load the F1 score
load_f1 = evaluate.load("____")
# Extract logits and labels from eval_predictions
logits, ____ = eval_predictions
# Convert logits to predictions
predictions = np.____(logits, axis=-1)
accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
# Compute the F1 score
f1 = ____.____(predictions=predictions, references=labels)["f1"]
return {"accuracy": accuracy, "f1": f1}