Découper des fichiers Python
Même si les fichiers texte et les fichiers de code contiennent les mêmes caractères, les fichiers de code comportent des structures qui vont au-delà de la langue naturelle. Pour conserver ce contexte propre au code lors du découpage des documents, vous devriez programmer le découpeur pour qu'il tente d'abord de découper selon la structure de code la plus courante. Heureusement, LangChain offre exactement ce qu'il faut pour y arriver!
Toutes les classes nécessaires ont été importées pour vous, y compris Language depuis langchain_text_splitters.
Cette activité fait partie du cours
Retrieval Augmented Generation (RAG) avec LangChain
Instructions de l’exercice
- Créez un découpeur récursif par caractères qui découpera selon les structures de code Python courantes.
- Découpez le chargeur de documents
python_dataen fragments.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")