HTML splitsen

In deze oefening ga je een HTML-bestand splitsen met een executive order over AI, opgesteld door het Witte Huis (VS) in oktober 2023. Om zoveel mogelijk context in de stukken te behouden, gebruik je grotere waarden voor chunk_size en chunk_overlap.

Alle LangChain-klassen die je nodig hebt voor deze oefening zijn alvast voor je geladen.

Deze oefening maakt deel uit van de cursus

LLM-toepassingen ontwikkelen met LangChain

Cursus bekijken

Oefeninstructies

Maak een UnstructuredHTMLLoader voor white_house_executive_order_nov_2023.html en laad deze in het geheugen.
Stel een chunk_size van 300 en een chunk_overlap van 100 in.
Maak een RecursiveCharacterTextSplitter die splitst op het teken '.', en gebruik de methode .split_documents() om data te splitsen en de stukken te printen.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

LLM-toepassingen ontwikkelen met LangChain

SkillTag.level.intermediateSkillTag.label

4.8+

Begin de cursus gratis

Welcome to the LangChain framework for building applications on LLMs! You'll learn about the main components of LangChain, including models, chains, agents, prompts, and parsers. You'll create chatbots using both open-source models from Hugging Face and proprietary models from OpenAI, create prompt templates, and integrate different chatbot memory strategies to manage context and resources during conversations.

Exercise 1: The LangChain ecosystem Exercise 2: OpenAI models in LangChain!Exercise 3: Hugging Face models in LangChain!Exercise 4: Prompt templates Exercise 5: Prompt templates and chaining Exercise 6: Chat prompt templates Exercise 7: Few-shot prompting Exercise 8: Creating the few-shot example set Exercise 9: Building the few-shot prompt template Exercise 10: Implementing few-shot prompting

Time to level up your LangChain chains! You'll learn to use the LangChain Expression Language (LCEL) for defining chains with greater flexibility. You'll create sequential chains, where inputs are passed between components to create more advanced applications. You'll also begin to integrate agents, which use LLMs for decision-making.

Exercise 1: Sequential chains Exercise 2: Building prompts for sequential chains Exercise 3: Sequential chains with LCEL Exercise 4: Introduction to LangChain agents Exercise 5: What's an agent?Exercise 6: ReAct agents Exercise 7: Custom tools for agents Exercise 8: Defining a function for tool use Exercise 9: Creating custom tools Exercise 10: Integrating custom tools with agents

One limitation of LLMs is that they have a knowledge cut-off due to being trained on data up to a certain point. In this chapter, you'll learn to create applications that use Retrieval Augmented Generation (RAG) to integrate external data with LLMs. The RAG workflow contains a few different processes, including splitting data, creating and storing the embeddings using a vector database, and retrieving the most relevant information for use in the application. You'll learn to master the entire workflow!

Exercise 1: Documentloaders integreren Exercise 2: PDF-documentloaders Exercise 3: CSV-documentloaders Exercise 4: HTML-documentloaders Exercise 5: Externe data splitsen voor retrieval Exercise 6: Splitsen op teken Exercise 7: Recursief splitsen op teken Exercise 8: HTML splitsen

Huidige oefening

Exercise 9: RAG-opslag en -opvraging met vectordatabases Exercise 10: De documenten en de vector database voorbereiden Exercise 11: Een retrieval-prompt-template bouwen Exercise 12: Een RAG-chain maken Exercise 13: Afronding!