Découvrez comment Weaviate permet de créer des applications RAG! Vous allez construire manuellement un flux de travail RAG de bout en bout pour vous familiariser avec les étapes Retrieval‑Augmentation‑Generation. Cette compréhension vous permettra de créer des flux RAG robustes et optimisés au chapitre 2 en utilisant Weaviate.

Des bases du RAG à la réussite !

Génération de texte avec des LLM

Créer des « embeddings » de texte

Comparer des représentations de texte

Assembler le « R », le « A » et le « G »

Notions de base du RAG avec Weaviate

Même si coder manuellement des flux de travail RAG, c'est amusant, vous pourriez passer à côté d'optimisations offertes par des outils comme Weaviate. Dans ce chapitre, vous allez intégrer, stocker, récupérer et générer des réponses entièrement avec Weaviate!

Flux de travail RAG avec Weaviate

Extraction de texte PDF et découpage en segments

Mise en place avec Weaviate

Requêtes dans Weaviate

RAG de bout en bout

RAG de bout en bout avec Weaviate

Au dernier chapitre, vous avez utilisé le contenu textuel des documents PDF pour créer vos segments de documents, mais vous avez laissé de côté le contenu image. Cela entraîne une perte importante de contexte qui pourrait être utile à la recherche et à la génération! Dans ce chapitre, vous utiliserez les modèles multimodaux ColPali pour intégrer et générer du texte et des images afin d'offrir plus de contexte aux réponses de votre modèle.

RAG avec texte et images

Préparer le RAG multimodal

RAG multimodal avec Weaviate

Félicitations !

RAG multimodal

Apprenez à passer d'appels LLM simples à des flux de travail RAG multimodaux avec Weaviate! Vous verrez comment traiter des documents PDF pour extraire les principaux contenus textuels comme les paragraphes, les titres et les tableaux. Vous intégrerez ces données et les stockerez pour la recherche avec Weaviate. Enfin, vous créerez des invites de recherche efficaces à transmettre aux modèles génératifs. Pour couronner le tout, vous traiterez les PDF comme des images afin de capter le contexte manqué provenant des images et des graphiques. Vous utiliserez le modèle d'intégration multimodal ColPali avec un modèle génératif multimodal d'OpenAI pour commencer à clavarder avec des images et des documents!

Working with the OpenAI API

Maîtrisez RAG avec Weaviate! Intégrez texte et images pour la recherche vectorielle et hybride.

RAG multimodal avec Weaviate

RAG de bout en bout avec Weaviate

Instructions de l’exercice

Exercice interactif pratique