เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การประเมินโมเดลบนชุดข้อมูลแบบกำหนดเอง

ในแบบฝึกหัดนี้ จะใช้ evaluator จากแพ็กเกจ evaluate ของ Hugging Face เพื่อประเมินประสิทธิภาพของโมเดลที่เทรนไว้ล่วงหน้าบนชุดข้อมูลแบบกำหนดเอง สังเกตว่าในการจำแนกประเภทหลายคลาสที่ชุดข้อมูลมีความไม่สมดุล ค่าความแม่นยำ (accuracy) เพียงอย่างเดียวไม่ใช่ตัวชี้วัดประสิทธิภาพที่เชื่อถือได้ ดังนั้นจะใช้ความสามารถของ evaluator ในการคำนวณหลายค่าพร้อมกัน ได้แก่ precision และ recall

มีการกำหนด dataset (dataset) และ pipeline (pipe) ไว้ล่วงหน้าแล้ว รวมถึงได้นำเข้าไลบรารี evaluate และคลาส evaluator เรียบร้อยแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้าง evaluator สำหรับงาน "image-classification"
  • ดึง label mapping แบบจำนวนเต็มเป็น string จาก pipeline
  • ประเมิน dataset (dataset) และ pipeline (pipe) โดยใช้ metrics ที่เก็บไว้ใน metrics_dict และ label_map

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Instantiate the task evaluator
task_evaluator = ____("____")

task_evaluator.METRIC_KWARGS = {"average": "weighted"}

# Get label map from pipeline
label_map = pipe.model.config.____

# Compute the metrics
eval_results = task_evaluator.____(model_or_pipeline=pipe, data=dataset, 
                         metric=evaluate.____(metrics_dict), label_mapping=____)

print(f"Precision: {eval_results['precision']:.2f}, Recall: {eval_results['recall']:.2f}")
แก้ไขและรันโค้ด