Rekursives Aufteilen nach Zeichen

Viele Entwickler verwenden einen rekursiven Zeichensplitter, um Dokumente anhand einer bestimmten Liste von Zeichen aufzuteilen. Bei diesen Zeichen handelt es sich um Absätze, Zeilenumbrüche, Leerzeichen und leere Zeichenketten, standardmäßig: ["\n\n", "\n", " ", ""].

Der Splitter versucht, nach Absätzen aufzuteilen, prüft, ob die Werte chunk_size und chunk_overlap erfüllt sind, und wenn nicht, teilt er nach Sätzen, dann nach Wörtern und schließlich nach einzelnen Zeichen auf.

Oft musst du mit verschiedenen chunk_size und chunk_overlap Werten experimentieren, um die richtigen Werte für deine Dokumente zu finden.

Diese Übung ist Teil des Kurses

Entwicklung von LLM Anwendungen mit LangChain

Anleitung zur Übung

Importiere die entsprechende LangChain-Klasse, um ein Dokument rekursiv nach Zeichen aufzuteilen.
Definiere einen rekursiven Zeichensplitter, um die Zeichen "\n", " " und "" (in dieser Reihenfolge) mit einem chunk_size von 24 und chunk_overlap von 10 aufzuspalten.
Teile quote und drucke die Chunks und Chunk-Längen aus.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Import the recursive character splitter
from langchain_text_splitters import ____

quote = 'Words are flowing out like endless rain into a paper cup,\nthey slither while they pass,\nthey slip away across the universe.'
chunk_size = 24
chunk_overlap = 10

# Create an instance of the splitter class
splitter = ____

# Split the document and print the chunks
docs = ____
print(docs)
print([len(doc) for doc in docs])

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Entwicklung von LLM Anwendungen mit LangChain

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Willkommen beim LangChain-Framework für die Entwicklung von Anwendungen auf LLMs! Du wirst die wichtigsten Komponenten von LangChain kennenlernen, darunter Modelle, Ketten, Agenten, Prompts und Parser. Du erstellst Chatbots mit den Open-Source-Modellen von Hugging Face und den proprietären Modellen von OpenAI, erstellst Prompt-Vorlagen und integrierst verschiedene Chatbot-Speicherstrategien, um Kontext und Ressourcen während der Konversation zu verwalten.

Exercise 1: Das LangChain-Ökosystem Exercise 2: OpenAI-Modelle in LangChain!Exercise 3: Hugging Face Modelle in LangChain!Exercise 4: Aufforderungsvorlagen Exercise 5: Aufforderungsvorlagen und Verkettung Exercise 6: Chat-Prompt-Vorlagen Exercise 7: Few-Shot Souffleur Exercise 8: Erstellen des Beispielsatzes mit wenigen Aufnahmen Exercise 9: Erstellen der Vorlage für den Souffleur mit wenigen Bildern Exercise 10: Implementierung von "few-shot" Prompting

Zeit, deine LangChain-Ketten aufzustocken! Du lernst, die LangChain Expression Language (LCEL) zu verwenden, um Ketten mit größerer Flexibilität zu definieren. Du erstellst sequentielle Ketten, bei denen Eingaben zwischen Komponenten weitergegeben werden, um fortgeschrittenere Anwendungen zu erstellen. Du wirst auch anfangen, Agenten zu integrieren, die LLMs für die Entscheidungsfindung nutzen.

Exercise 1: Sequentielle Ketten Exercise 2: Bauanleitungen für aufeinanderfolgende Ketten Exercise 3: Sequentielle Ketten mit LCEL Exercise 4: Einführung in die LangChain-Agenten Exercise 5: Was ist ein Agent?Exercise 6: ReAct-Agenten Exercise 7: Individuelle Tools für Agenten Exercise 8: Definieren einer Funktion für den Einsatz von Werkzeugen Exercise 9: Benutzerdefinierte Werkzeuge erstellen Exercise 10: Integration von benutzerdefinierten Tools mit Agenten

Eine Einschränkung der LLMs ist, dass sie eine Wissensgrenze haben, weil sie bis zu einem bestimmten Punkt auf Daten trainiert werden. In diesem Kapitel lernst du, wie du Anwendungen erstellst, die Retrieval Augmented Generation (RAG) nutzen, um externe Daten in LLMs zu integrieren. Der Arbeitsablauf von RAG umfasst einige verschiedene Prozesse, darunter die Aufteilung der Daten, die Erstellung und Speicherung der Einbettungen in einer Vektordatenbank und das Abrufen der wichtigsten Informationen für die Anwendung. Du wirst lernen, den gesamten Arbeitsablauf zu meistern!

Exercise 1: Integration von Dokumentenladern Exercise 2: PDF Dokumentenlader Exercise 3: CSV Dokumentenlader Exercise 4: HTML Dokumentenlader Exercise 5: Aufteilung externer Daten für den Abruf Exercise 6: Aufteilung nach Zeichen Exercise 7: Rekursives Aufteilen nach Zeichen

Aktuelle Übung

Exercise 8: Splitting HTML Exercise 9: RAG Speicherung und Wiederauffinden mit Vektordatenbanken Exercise 10: Vorbereiten der Dokumente und der Vektordatenbank Exercise 11: Erstellen einer Vorlage für eine Abrufaufforderung Exercise 12: Erstellen einer RAG Kette Exercise 13: Einpacken!