Chargeurs de documents PDF

Pour commencer à mettre en œuvre la Génération à enrichissement contextuel (RAG), vous devez d'abord charger les documents auxquels le modèle aura accès. Ces documents peuvent provenir de diverses sources, et LangChain prend en charge les chargeurs de documents pour la plupart d'entre elles.

Dans cet exercice, vous utiliserez un chargeur de documents pour charger un document PDF contenant l'article, RAG VS Fine-Tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture par Balaguer et al. (2024).

Remarque : pypdf, une dépendance nécessaire au chargement des documents PDF dans LangChain, a déjà été installée pour vous.

Cet exercice fait partie du cours

Développement d'applications LLM avec LangChain

Afficher le cours

Instructions

Importez la classe appropriée pour charger les documents PDF dans LangChain.
Créez un chargeur de document pour le document 'rag_vs_fine_tuning.pdf', disponible dans le répertoire actuel.
Chargez le document en mémoire pour afficher le contenu du premier document ou de la première page.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import library
from langchain_community.document_loaders import ____

# Create a document loader for rag_vs_fine_tuning.pdf
loader = ____

# Load the document
data = ____
print(data[0])

Modifier et exécuter le code

Cet exercice fait partie du cours

Développement d'applications LLM avec LangChain

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Bienvenue dans le framework LangChain pour concevoir des applications sur les LLM. Vous découvrirez les principaux composants de LangChain, notamment les modèles, les chaînes, les agents, les prompts et les analyseurs syntaxiques. Vous créerez des chatbots à l'aide de modèles open source de Hugging Face et de modèles propriétaires d'OpenAI, vous créerez des modèles de prompts instantanés et intégrerez différentes stratégies de mémoire pour les chatbots afin de gérer le contexte et les ressources pendant les conversations.

Exercise 1: L'écosystème LangChain Exercise 2: Modèles OpenAI dans LangChain !Exercise 3: Modèles Hugging Face dans LangChain !Exercise 4: Modèles de prompts Exercise 5: Modèles de prompts et chaînage Exercise 6: Modèles de prompts instantanés Exercise 7: Prompts few-shot Exercise 8: Création d'un ensemble d'exemple few-shot Exercise 9: Création du modèle de prompt few-shot Exercise 10: Mise en œuvre du prompt few-shot

Il est temps de passer au niveau supérieur avec vos chaînes LangChain ! Vous apprendrez à utiliser le LangChain Expression Language (LCEL) pour définir des chaînes avec plus de flexibilité. Vous allez créer des chaînes séquentielles, dans lesquelles les entrées sont transmises entre les composants afin de créer des applications plus avancées. Vous commencerez également à intégrer des agents qui utilisent les LLM pour la prise de décision.

Exercise 1: Chaînes séquentielles Exercise 2: Création de prompts pour des chaînes séquentielles Exercise 3: Chaînes séquentielles avec LCEL Exercise 4: Présentation des agents LangChain Exercise 5: Qu'est-ce qu'un agent ?Exercise 6: Agents ReAct Exercise 7: Outils personnalisés pour les agents Exercise 8: Définir une fonction pour l'utilisation d'un outil Exercise 9: Création d'outils personnalisés Exercise 10: Intégration d'outils personnalisés avec des agents

Une des limites des LLM réside dans le fait qu'ils ont une connaissance limitée, car ils ont été entraînés à partir de données collectées jusqu'à un certain point. Dans ce chapitre, vous apprendrez à créer des applications qui utilisent la Génération à enrichissement contextuel (RAG) pour intégrer des données externes à des modèles de langage naturel (LLM). Le flux de travail RAG comprend plusieurs processus différents, notamment la division des données, la création et le stockage des intégrations à l'aide d'une base de données vectorielle, ainsi que la récupération des informations les plus pertinentes pour une utilisation dans l'application. Vous apprendrez à maîtriser l'ensemble du processus de travail.

Exercise 1: Intégration de chargeurs de documents Exercise 2: Chargeurs de documents PDF

Exercice en cours

Exercise 3: Chargeurs de documents CSV Exercise 4: Chargeurs de documents HTML Exercise 5: Fractionnement des données externes pour la récupération Exercise 6: Division par caractère Exercise 7: Division récursive par caractère Exercise 8: Fractionnement du code HTML Exercise 9: Stockage et récupération RAG à l'aide de bases de données vectorielles Exercise 10: Préparation des documents et de la base de données vectorielle Exercise 11: Création d'un modèle de prompt de récupération Exercise 12: Création d'une chaîne RAG Exercise 13: Conclusion !