Karaktere göre özyinelemeli bölme

Birçok geliştirici, belgeleri belirli bir karakter listesine göre bölmek için özyinelemeli bir karakter ayırıcı kullanıyor. Bu karakterler varsayılan olarak paragraflar, satır sonları, boşluklar ve boş dizelerdir: ["\n\n", "\n", " ", ""].

Özetle, ayırıcı önce paragraflara göre bölmeyi dener, chunk_size ve chunk_overlap değerlerinin karşılanıp karşılanmadığını kontrol eder; eğer karşılanmazsa cümlelere, ardından kelimelere ve tek tek karakterlere göre böler.

Çoğu zaman, belgelerin için iyi çalışan değerleri bulmak üzere farklı chunk_size ve chunk_overlap değerleriyle denemeler yapman gerekecek.

Bu egzersiz

LangChain ile LLM Uygulamaları Geliştirme

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

langchain_text_splitters içinden RecursiveCharacterTextSplitter sınıfını içe aktar.
separators=["\n", " ", ""], chunk_size=24 ve chunk_overlap=10 ile bir RecursiveCharacterTextSplitter örneği oluştur.
quote metnini bölmek için .split_text() yöntemini kullan ve parçaları ile parça uzunluklarını yazdır.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Import the recursive character splitter
from langchain_text_splitters import ____

quote = 'Words are flowing out like endless rain into a paper cup,\nthey slither while they pass,\nthey slip away across the universe.'
chunk_size = 24
chunk_overlap = 10

# Create an instance of the splitter class
splitter = RecursiveCharacterTextSplitter(
    separators=____,
    chunk_size=____,
    chunk_overlap=____)

# Split the document and print the chunks
docs = splitter.____(quote)
print(docs)
print([len(doc) for doc in docs])

Kodu Düzenle ve Çalıştır

Bu egzersiz

LangChain ile LLM Uygulamaları Geliştirme

kursunun bir parçasıdır

IntermediárioNível de habilidade

4.8+

Kursa Ücretsiz Başlayın

Welcome to the LangChain framework for building applications on LLMs! You'll learn about the main components of LangChain, including models, chains, agents, prompts, and parsers. You'll create chatbots using both open-source models from Hugging Face and proprietary models from OpenAI, create prompt templates, and integrate different chatbot memory strategies to manage context and resources during conversations.

Exercise 1: The LangChain ecosystem Exercise 2: OpenAI models in LangChain!Exercise 3: Hugging Face models in LangChain!Exercise 4: Prompt templates Exercise 5: Prompt templates and chaining Exercise 6: Chat prompt templates Exercise 7: Few-shot prompting Exercise 8: Creating the few-shot example set Exercise 9: Building the few-shot prompt template Exercise 10: Implementing few-shot prompting

Time to level up your LangChain chains! You'll learn to use the LangChain Expression Language (LCEL) for defining chains with greater flexibility. You'll create sequential chains, where inputs are passed between components to create more advanced applications. You'll also begin to integrate agents, which use LLMs for decision-making.

Exercise 1: Sequential chains Exercise 2: Building prompts for sequential chains Exercise 3: Sequential chains with LCEL Exercise 4: Introduction to LangChain agents Exercise 5: What's an agent?Exercise 6: ReAct agents Exercise 7: Custom tools for agents Exercise 8: Defining a function for tool use Exercise 9: Creating custom tools Exercise 10: Integrating custom tools with agents

One limitation of LLMs is that they have a knowledge cut-off due to being trained on data up to a certain point. In this chapter, you'll learn to create applications that use Retrieval Augmented Generation (RAG) to integrate external data with LLMs. The RAG workflow contains a few different processes, including splitting data, creating and storing the embeddings using a vector database, and retrieving the most relevant information for use in the application. You'll learn to master the entire workflow!

Exercise 1: Belge yükleyicileri entegre etme Exercise 2: PDF belge yükleyi̇ci̇ler Exercise 3: CSV belge yükleyi̇ci̇ler Exercise 4: HTML belge yükleyi̇ci̇ler Exercise 5: Alım için harici verileri bölme Exercise 6: Karaktere göre bölme Exercise 7: Karaktere göre özyinelemeli bölme

Geçerli Egzersiz

Exercise 8: HTML'i bölme Exercise 9: RAG vektör veri tabanları kullanarak depolama ve geri çağırma Exercise 10: Belgeleri ve vektör veritabanını hazırlama Exercise 11: Bir alma istemi şablonu oluşturma Exercise 12: Bir RAG zinciri oluşturma Exercise 13: Toparlanın!