เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Document VQA ด้วย LayoutLM

จาก VQA กับรูปภาพ สู่ VQA กับเอกสาร! ในแบบฝึกหัดนี้ จะใช้โมเดล layoutlm-document-qa เพื่อหาจำนวนชั่วโมงฝึกอบรมทั้งหมดที่พนักงานได้รับในปี 2012-2013 จากภาพเอกสารนี้:

Newsletter from an ICT company

ชุดข้อมูล (dataset) ถูกโหลดไว้แล้ว และโมดูล pipeline (pipeline) ถูก import เรียบร้อยแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • โหลด pipeline โดยใช้ task 'document-question-answering' และ checkpoint 'impira/layoutlm-document-qa'
  • ประมวลผลเอกสารในข้อมูลลำดับที่ 61 ของชุด test จาก dataset โดยใช้ prompt ที่เหมาะสมเพื่อค้นหาจำนวนวันที่พนักงานได้รับการฝึกอบรมอย่างเป็นทางการในปี 2012-2013

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Load the document-question-answering pipeline with the pretrained model
pipe = ____

# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")

print(result)
แก้ไขและรันโค้ด