VQA cho tài liệu với LayoutLM
Từ VQA với hình ảnh sang VQA với tài liệu! Trong bài tập này, bạn sẽ dùng mô hình layoutlm-document-qa để xác định tổng số giờ đào tạo đã cung cấp cho nhân viên trong các năm 2012-2013 từ ảnh tài liệu sau:
Bộ dữ liệu (dataset) đã được nạp và mô-đun pipeline (pipeline) đã được nhập.
Bài tập này là một phần của khóa học
Mô hình đa phương thức với Hugging Face
Hướng dẫn bài tập
- Tải pipeline với tác vụ
'document-question-answering'và checkpoint'impira/layoutlm-document-qa'. - Xử lý tài liệu ở điểm dữ liệu
61của tậptesttừdatasetvới một prompt phù hợp để tìm xem có bao nhiêu ngày đào tạo chính quy đã được cung cấp cho nhân viên trong giai đoạn 2012-2013.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load the document-question-answering pipeline with the pretrained model
pipe = ____
# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")
print(result)