Pierwsze kroki z podziałem tekstu
Czas zacząć dzielić tekst! Masz do dyspozycji zdanie na temat RAG, zapisane w zmiennej tekstowej text. Twoim zadaniem jest podzielenie tego ciągu znaków w miejscach wystąpienia znaku '.'. Przyjrzyj się wynikom podziału i oceń, jak sprawdziła się ta strategia.
To ćwiczenie jest częścią kursu
Retrieval Augmented Generation (RAG) z LangChain
Instrukcje do ćwiczenia
- Zdefiniuj splitter tekstu LangChain oparty na znakach, który będzie dzielił tekst na znaku
'.', z rozmiarem fragmentu75i nakładaniem fragmentów10. - Podziel
textza pomocą zdefiniowanegotext_splitter.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
text = '''RAG (retrieval augmented generation) is an advanced NLP model that combines retrieval mechanisms with generative capabilities. RAG aims to improve the accuracy and relevance of its outputs by grounding responses in precise, contextually appropriate data.'''
# Define a text splitter that splits on the '.' character
text_splitter = ____(
____,
____,
____
)
# Split the text using text_splitter
chunks = text_splitter.____
print(chunks)
print([len(chunk) for chunk in chunks])