Aan de slag met tekst splitsen
Tijd om te gaan splitsen! Je hebt een uitspraak over RAG gekregen in de stringvariabele text. Jij gaat deze string splitsen op elke '.'. Bekijk de resultaten van het splitsen om te zien hoe deze aanpak werkt.
Deze oefening maakt deel uit van de cursus
Retrieval Augmented Generation (RAG) met LangChain
Oefeninstructies
- Definieer een LangChain character text splitter die splitst op het teken
'.'met een chunk size van75en een chunk overlap van10. - Split
textmet detext_splitterdie je hebt gedefinieerd.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
text = '''RAG (retrieval augmented generation) is an advanced NLP model that combines retrieval mechanisms with generative capabilities. RAG aims to improve the accuracy and relevance of its outputs by grounding responses in precise, contextually appropriate data.'''
# Define a text splitter that splits on the '.' character
text_splitter = ____(
____,
____,
____
)
# Split the text using text_splitter
chunks = text_splitter.____
print(chunks)
print([len(chunk) for chunk in chunks])