Premiers pas avec le découpage de texte

C’est le moment de découper ! On vous a fourni une phrase sur le RAG stockée dans la variable de type chaîne text. Votre objectif est de séparer cette chaîne à chaque occurrence du caractère '.'. Examinez le résultat du découpage pour voir comment cette stratégie s’en sort.

Cet exercice fait partie du cours

Retrieval Augmented Generation (RAG) avec LangChain

Afficher le cours

Instructions

Définissez un séparateur de texte par caractères LangChain qui découpe sur le caractère '.' avec une taille de segment (chunk size) de 75 et un chevauchement de segments (chunk overlap) de 10.
Découpez text avec le text_splitter que vous avez défini.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

text = '''RAG (retrieval augmented generation) is an advanced NLP model that combines retrieval mechanisms with generative capabilities. RAG aims to improve the accuracy and relevance of its outputs by grounding responses in precise, contextually appropriate data.'''

# Define a text splitter that splits on the '.' character
text_splitter = ____(
    ____,
    ____,  
    ____  
)

# Split the text using text_splitter
chunks = text_splitter.____
print(chunks)
print([len(chunk) for chunk in chunks])

Modifier et exécuter le code