Dokument VQA mit LayoutLM
Von VQA mit Bildern zu VQA mit Dokumenten! In dieser Übung wirst du das Modell „ layoutlm-document-qa ” nutzen, um die Gesamtzahl der Schulungsstunden zu ermitteln, die den Mitarbeitern in den Jahren 2012–2013 angeboten wurden. Du findest die Infos dazu in diesem Dokument:
Der Datensatz (dataset) ist geladen und das Pipeline-Modul (pipeline) wurde importiert.
Diese Übung ist Teil des Kurses
<Kurs>Multimodale Modelle mit Hugging Face</Kurs>Übungsanweisungen
- Lade die Pipeline mit der Aufgabe „
'document-question-answering'“ und dem Checkpoint „'impira/layoutlm-document-qa'“. - Verarbeite das Dokument im Datenpunkt „
61” des Datensatzes „test” vondatasetmit einer passenden Eingabeaufforderung, um herauszufinden, wie viele Tage formelle Schulungen den Mitarbeitern in den Jahren 2012–2013 angeboten wurden.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Load the document-question-answering pipeline with the pretrained model
pipe = ____
# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")
print(result)