VQA de documents avec LayoutLM

Passez du VQA sur images au VQA sur documents! Dans cet exercice, vous utiliserez le modèle layoutlm-document-qa pour déterminer le nombre total d'heures de formation offertes aux employé·e·s pour les années 2012-2013 à partir de cette image de document:

Newsletter from an ICT company

L'ensemble de données (dataset) a été chargé et le module de pipeline (pipeline) a été importé.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Instructions de l’exercice

Chargez le pipeline avec la tâche 'document-question-answering' et le point de contrôle 'impira/layoutlm-document-qa'.
Traitez le document au point de données 61 de l'ensemble test de dataset avec une invite appropriée pour trouver combien de jours de formation officielle ont été offerts aux employé·e·s en 2012-2013.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load the document-question-answering pipeline with the pretrained model
pipe = ____

# Process datapoint 61 to find the amount of training days
result = ____(dataset["____"][61]["____"], "____")

print(result)

Modifier et exécuter le code

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Parcourez le dépôt de modèles de Hugging Face et transformez du texte, de l'audio et des données visuelles bruts en formats prêts pour l'IA. Apprenez à trouver les modèles les plus récents et populaires pour des tâches comme la génération de texte et exploitez la puissance des pipelines prêts à l'emploi.

Exercise 1: Navigation dans les modèles Hugging Face Exercise 2: Combien de modèles!?Exercise 3: Trouver le modèle texte-vers-image le plus populaire Exercise 4: Prétraitement de différentes modalités Exercise 5: Tokenisation de texte Exercise 6: Prétraitement d'images Exercise 7: Prétraitement de l'audio Exercise 8: Tâches de pipeline et évaluations Exercise 9: Génération de légendes avec un pipeline Exercise 10: Passer des arguments nommés Exercise 11: Évaluation d'un modèle sur un jeu de données personnalisé

Apprenez à maîtriser chaque modalité avec des modèles à la fine pointe. Plongez dans la vision par ordinateur pour la classification et la segmentation d'images, explorez la reconnaissance de la parole et la synthèse texte‑parole, et découvrez des techniques de réglage fin efficaces. Développez des compétences pratiques avec des modèles préentraînés de la bibliothèque transformers de Hugging Face.

Exercise 1: Vision par ordinateur Exercise 2: Classification d'images Exercise 3: Détection d'objets Exercise 4: Retrait de l'arrière-plan d'une image Exercise 5: Ajustement fin des modèles de vision par ordinateur Exercise 6: Ajustement fin en CV : préparation du jeu de données Exercise 7: Ajustement fin en CV : classes de modèles Exercise 8: Ajustement fin en CV : configuration du trainer Exercise 9: Reconnaissance de la parole et génération audio Exercise 10: Reconnaissance automatique de la parole Exercise 11: Créer des intégrations vocales Exercise 12: Réduction du bruit audio Exercise 13: Ajuster avec précision des modèles de synthèse vocale Exercise 14: Ajuster finement un modèle de synthèse vocale (text-to-speech)Exercise 15: Générer une nouvelle parole

Apprenez à fusionner des informations visuelles, textuelles et audio pour des applications d'IA plus riches. Maîtrisez des techniques comme CLIP pour la classification zero‑shot, créez des analyseurs de sentiment qui voient et lisent, et concevez des détecteurs d'émotions combinant expressions faciales et voix. Amenez vos modèles d'IA au‑delà de la pensée monomodale.

Exercise 1: Classification d'images zéro-shot Exercise 2: Apprentissage zéro-shot avec CLIP Exercise 3: Évaluation automatique de la qualité d'une légende Exercise 4: Analyse des sentiments multimodale Exercise 5: Créer des invites pour les modèles Vision-Langage (VLM)Exercise 6: Classification multimodale des sentiments avec Qwen Exercise 7: Classification vidéo zero-shot Exercise 8: Séparer l'audio de la vidéo Exercise 9: Analyse du sentiment vidéo avec CLIP CLAP

Transformez vos idées en réalité ! Maîtrisez des techniques d'IA de pointe pour générer et manipuler du contenu visuel à l'aide d'invites textuelles. Créez des images saisissantes, retouchez des photos intelligemment et bâtissez de puissants systèmes de questions‑réponses pour des images et des documents. Donnez vie à votre vision créative grâce à l'IA multimodale.

Exercise 1: Réponse aux questions visuelles (VQA)Exercise 2: VQA avec Vision Language Transformers (ViLT)Exercise 3: VQA de documents avec LayoutLM

Exercice en cours

Exercise 4: Retouche d'images avec des modèles de diffusion Exercise 5: Retouche d'images personnalisée Exercise 6: Retouche par inpainting Exercise 7: Génération de vidéo Exercise 8: Créez une vidéo!Exercise 9: Évaluer la performance de la génération vidéo Exercise 10: Félicitations !