เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

กำหนดเมตริกสำหรับการประเมินผล

คุณกำลังพัฒนาบริการแปลภาษาแบบเรียลไทม์สำหรับแอปพลิเคชันประชุมทางวิดีโอ เพื่อติดตามกระบวนการเทรน จะต้องกำหนดเมตริกสำหรับการประเมินผล ได้แก่ ความแม่นยำ (accuracy) และ F1 score ซึ่งวัดประสิทธิภาพโดยรวมของโมเดล

ไลบรารี evaluate และ numpy (np) ถูกนำเข้ามาแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • โหลดคะแนน f1 โดยใช้ไลบรารี evaluate โดยที่ accuracy ถูกโหลดไว้ให้แล้ว
  • ดึง logits และ labels ออกมาโดยแกะ eval_predictions ให้เป็นสองตัวแปร
  • แปลง logits ให้เป็น predictions
  • คำนวณคะแนน f1 โดยอิงจาก predictions และ labels

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}
แก้ไขและรันโค้ด