Document-VQA met LayoutLM
Van VQA met afbeeldingen naar VQA met documenten! In deze oefening gebruik je het model layoutlm-document-qa om het totale aantal trainingsuren te bepalen dat in de jaren 2012-2013 aan werknemers is gegeven op basis van deze documentafbeelding:
De gegevensset (dataset) is geladen en de pipeline-module (pipeline) is geïmporteerd.
Deze oefening maakt deel uit van de cursus
Multi-modale modellen met Hugging Face
Oefeninstructies
- Laad de pipeline met de taak
'document-question-answering'en het checkpoint'impira/layoutlm-document-qa'. - Verwerk het document in datapunt
61van detest-set uitdatasetmet een passende prompt om te vinden hoeveel dagen formele training aan werknemers zijn gegeven in 2012-2013.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Load the document-question-answering pipeline with the pretrained model
pipe = ____
# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")
print(result)