Dividir por caracteres

Un proceso clave en la aplicación de la Generación Aumentada de Recuperación (RAG) es dividir los documentos en trozos para almacenarlos en una base de datos vectorial.

Hay varias estrategias de división disponibles en LangChain, algunas con rutinas más complejas que otras. En este ejercicio, implementarás un divisor de texto por caracteres, que divide los documentos en función de los caracteres y mide la longitud del trozo por el número de caracteres.

Recuerda que no existe una estrategia de división ideal, puede que tengas que experimentar con unas cuantas para encontrar la adecuada a tu caso de uso.

Este ejercicio forma parte del curso

Desarrollar aplicaciones LLM con LangChain

Instrucciones de ejercicio

Importa la clase LangChain adecuada para dividir un documento por caracteres.
Define un divisor de caracteres que se divida en "\n" con un chunk_size de 24 y un chunk_overlap de 10.
Divide quote, e imprime los trozos y la longitud de los trozos.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

# Import the character splitter
from langchain_text_splitters import ____

quote = 'Words are flowing out like endless rain into a paper cup,\nthey slither while they pass,\nthey slip away across the universe.'
chunk_size = 24
chunk_overlap = 10

# Create an instance of the splitter class
splitter = ____

# Split the string and print the chunks
docs = ____
print(docs)
print([len(doc) for doc in docs])

Editar y ejecutar código

Este ejercicio forma parte del curso

Desarrollar aplicaciones LLM con LangChain

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

¡Bienvenido al marco LangChain para construir aplicaciones sobre LLMs! Conocerás los principales componentes de LangChain, como los modelos, las cadenas, los agentes, los avisos y los analizadores sintácticos. Crearás chatbots utilizando modelos de código abierto de Hugging Face y modelos propios de OpenAI, crearás plantillas de avisos e integrarás distintas estrategias de memoria de chatbot para gestionar el contexto y los recursos durante las conversaciones.

Exercise 1: El ecosistema LangChain Exercise 2: ¡Modelos OpenAI en LangChain!Exercise 3: ¡Modelos de Cara de Abrazo en LangChain!Exercise 4: Plantillas de instrucciones Exercise 5: Plantillas y encadenamiento de preguntas Exercise 6: Plantillas de mensajes de chat Exercise 7: Prompts de pocos disparos Exercise 8: Creación del conjunto de ejemplos de pocos disparos Exercise 9: Construir la plantilla de avisos de pocos disparos Exercise 10: Poner en práctica el aviso de pocos disparos

¡Es hora de subir de nivel tus cadenas LangChain! Aprenderás a utilizar el Lenguaje de Expresión LangChain (LCEL) para definir cadenas con mayor flexibilidad. Crearás cadenas secuenciales, en las que las entradas se pasan entre componentes para crear aplicaciones más avanzadas. También empezarás a integrar agentes, que utilizan LLM para tomar decisiones.

Exercise 1: Cadenas secuenciales Exercise 2: Construir indicaciones para cadenas secuenciales Exercise 3: Cadenas secuenciales con LCEL Exercise 4: Introducción a los agentes LangChain Exercise 5: ¿Qué es un agente?Exercise 6: Agentes ReAct Exercise 7: Herramientas personalizadas para agentes Exercise 8: Definir una función para el uso de herramientas Exercise 9: Crear herramientas personalizadas Exercise 10: Integrar herramientas personalizadas con los agentes

Una limitación de los LLM es que tienen un límite de conocimiento debido a que se entrenan con datos hasta cierto punto. En este capítulo aprenderás a crear aplicaciones que utilicen la Generación Aumentada de Recuperación (RAG) para integrar datos externos con los LLM. El flujo de trabajo de RAG contiene algunos procesos diferentes, como dividir los datos, crear y almacenar las incrustaciones utilizando una base de datos vectorial, y recuperar la información más relevante para utilizarla en la aplicación. ¡Aprenderás a dominar todo el flujo de trabajo!

Exercise 1: Integrar cargadores de documentos Exercise 2: PDF cargadores de documentos Exercise 3: CSV cargadores de documentos Exercise 4: HTML cargadores de documentos Exercise 5: Dividir datos externos para recuperarlos Exercise 6: Dividir por caracteres

Ejercicio actual

Exercise 7: Dividir recursivamente por caracteres Exercise 8: Dividir HTML Exercise 9: RAG almacenamiento y recuperación mediante bases de datos vectoriales Exercise 10: Preparar los documentos y la base de datos vectorial Exercise 11: Construir una plantilla de solicitud de recuperación Exercise 12: Crear una cadena RAG Exercise 13: ¡Recapitulación!