Document VQA z LayoutLM
Od VQA na obrazach do VQA na dokumentach! W tym ćwiczeniu użyjesz modelu layoutlm-document-qa, aby określić łączną liczbę godzin szkoleń pracowników w latach 2012–2013 na podstawie poniższego obrazu dokumentu:
Zbiór danych (dataset) został wczytany, a moduł pipeline (pipeline) zaimportowany.
To ćwiczenie jest częścią kursu
Modele multimodalne z Hugging Face
Instrukcje do ćwiczenia
- Załaduj pipeline, używając zadania
'document-question-answering'i punktu kontrolnego'impira/layoutlm-document-qa'. - Przetwórz dokument z punktu danych
61zbiorutestze zbioru danych (dataset), stosując odpowiedni prompt, aby dowiedzieć się, ile dni szkoleń formalnych zapewniono pracownikom w latach 2012–2013.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load the document-question-answering pipeline with the pretrained model
pipe = ____
# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")
print(result)