ÎncepețiÎncepe gratuit

VQA pe documente cu LayoutLM

De la VQA pe imagini la VQA pe documente! În acest exercițiu, vei folosi modelul layoutlm-document-qa pentru a determina numărul total de ore de instruire oferite angajaților în anii 2012-2013, pe baza acestei imagini de document:

Newsletter from an ICT company

Setul de date (dataset) a fost încărcat, iar modulul pipeline (pipeline) a fost importat.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Încarcă pipeline-ul folosind task-ul 'document-question-answering' și checkpoint-ul 'impira/layoutlm-document-qa'.
  • Procesează documentul din punctul de date 61 al setului test din dataset, folosind un prompt potrivit pentru a afla câte zile de instruire formală au fost oferite angajaților în 2012-2013.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the document-question-answering pipeline with the pretrained model
pipe = ____

# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")

print(result)
Editează și rulează codul