Fractionnement du code HTML

Dans cet exercice, vous allez diviser un fichier HTML contenant un décret sur l'IA publié par la Maison Blanche américaine en octobre 2023. Afin de conserver autant de contexte que possible dans les parties, veuillez diviser en utilisant des valeurs plus élevées pour les paramètres chunk_size et chunk_overlap.

Toutes les classes LangChain nécessaires à la réalisation de cet exercice ont été préchargées pour vous.

Cet exercice fait partie du cours

Développement d'applications LLM avec LangChain

Afficher le cours

Instructions

Créez un chargeur de documents pour white_house_executive_order_nov_2023.html, puis chargez-le en mémoire.
Définissez une valeur chunk_size de 300, et une valeur chunk_overlap de 100.
Définissez le séparateur, en divisant sur le caractère '.', puis utilisez-le pour diviser data et imprimer les parties.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the HTML document into memory
loader = ____
data = ____

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = ____
print(docs)

Modifier et exécuter le code

Cet exercice fait partie du cours

Développement d'applications LLM avec LangChain

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Bienvenue dans le framework LangChain pour concevoir des applications sur les LLM. Vous découvrirez les principaux composants de LangChain, notamment les modèles, les chaînes, les agents, les prompts et les analyseurs syntaxiques. Vous créerez des chatbots à l'aide de modèles open source de Hugging Face et de modèles propriétaires d'OpenAI, vous créerez des modèles de prompts instantanés et intégrerez différentes stratégies de mémoire pour les chatbots afin de gérer le contexte et les ressources pendant les conversations.

Exercise 1: L'écosystème LangChain Exercise 2: Modèles OpenAI dans LangChain !Exercise 3: Modèles Hugging Face dans LangChain !Exercise 4: Modèles de prompts Exercise 5: Modèles de prompts et chaînage Exercise 6: Modèles de prompts instantanés Exercise 7: Prompts few-shot Exercise 8: Création d'un ensemble d'exemple few-shot Exercise 9: Création du modèle de prompt few-shot Exercise 10: Mise en œuvre du prompt few-shot

Il est temps de passer au niveau supérieur avec vos chaînes LangChain ! Vous apprendrez à utiliser le LangChain Expression Language (LCEL) pour définir des chaînes avec plus de flexibilité. Vous allez créer des chaînes séquentielles, dans lesquelles les entrées sont transmises entre les composants afin de créer des applications plus avancées. Vous commencerez également à intégrer des agents qui utilisent les LLM pour la prise de décision.

Exercise 1: Chaînes séquentielles Exercise 2: Création de prompts pour des chaînes séquentielles Exercise 3: Chaînes séquentielles avec LCEL Exercise 4: Présentation des agents LangChain Exercise 5: Qu'est-ce qu'un agent ?Exercise 6: Agents ReAct Exercise 7: Outils personnalisés pour les agents Exercise 8: Définir une fonction pour l'utilisation d'un outil Exercise 9: Création d'outils personnalisés Exercise 10: Intégration d'outils personnalisés avec des agents

Une des limites des LLM réside dans le fait qu'ils ont une connaissance limitée, car ils ont été entraînés à partir de données collectées jusqu'à un certain point. Dans ce chapitre, vous apprendrez à créer des applications qui utilisent la Génération à enrichissement contextuel (RAG) pour intégrer des données externes à des modèles de langage naturel (LLM). Le flux de travail RAG comprend plusieurs processus différents, notamment la division des données, la création et le stockage des intégrations à l'aide d'une base de données vectorielle, ainsi que la récupération des informations les plus pertinentes pour une utilisation dans l'application. Vous apprendrez à maîtriser l'ensemble du processus de travail.

Exercise 1: Intégration de chargeurs de documents Exercise 2: Chargeurs de documents PDF Exercise 3: Chargeurs de documents CSV Exercise 4: Chargeurs de documents HTML Exercise 5: Fractionnement des données externes pour la récupération Exercise 6: Division par caractère Exercise 7: Division récursive par caractère Exercise 8: Fractionnement du code HTML

Exercice en cours

Exercise 9: Stockage et récupération RAG à l'aide de bases de données vectorielles Exercise 10: Préparation des documents et de la base de données vectorielle Exercise 11: Création d'un modèle de prompt de récupération Exercise 12: Création d'une chaîne RAG Exercise 13: Conclusion !