LayoutLM으로 문서 VQA 수행하기
이미지 VQA에서 문서 VQA로 확장해 볼까요? 이 연습 문제에서는 layoutlm-document-qa 모델을 사용해, 다음 문서 이미지에서 2012-2013년에 직원들에게 제공된 총 교육 시간(일수)을 확인해 보겠습니다:
데이터셋(dataset)은 이미 로드되어 있고, 파이프라인 모듈(pipeline)도 가져와져 있어요.
이 연습은 강의의 일부입니다
Hugging Face로 배우는 멀티모달 모델
연습 안내
'document-question-answering'작업과'impira/layoutlm-document-qa'체크포인트로 파이프라인을 로드하세요.dataset의test세트에서 데이터 포인트61번 문서를 적절한 프롬프트로 처리해, 2012-2013년에 직원들에게 제공된 정규 교육이 며칠이었는지 찾아보세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Load the document-question-answering pipeline with the pretrained model
pipe = ____
# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")
print(result)