Divizarea HTML

În acest exercițiu, vei diviza un fișier HTML care conține un ordin executiv privind inteligența artificială, emis de Casa Albă în octombrie 2023. Pentru a păstra cât mai mult context în fragmente, vei folosi valori mai mari pentru chunk_size și chunk_overlap.

Toate clasele LangChain necesare pentru acest exercițiu au fost pre-încărcate pentru tine.

Acest exercițiu face parte din cursul

Developing LLM Applications with LangChain

Instrucțiuni pentru exercițiu

Creează un UnstructuredHTMLLoader pentru white_house_executive_order_nov_2023.html și încarcă-l în memorie.
Setează un chunk_size de 300 și un chunk_overlap de 100.
Creează un RecursiveCharacterTextSplitter care să dividă după caracterul '.', apoi folosește metoda .split_documents() pentru a diviza data și afișează fragmentele.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)

Editează și rulează codul

Acest exercițiu face parte din cursul

Developing LLM Applications with LangChain

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Bun venit în framework-ul LangChain pentru construirea de aplicații pe baza LLM-urilor! Vei învăța despre principalele componente ale LangChain, inclusiv modele, lanțuri, agenți, prompt-uri și parsere. Vei crea chatbot-uri folosind atât modele open-source de la Hugging Face, cât și modele proprietare de la OpenAI, vei crea șabloane de prompt și vei integra diferite strategii de memorie pentru chatbot-uri, în vederea gestionării contextului și a resurselor în cadrul conversațiilor.

Exercise 1: Ecosistemul LangChain Exercise 2: Modele OpenAI în LangChain!Exercise 3: Modele Hugging Face în LangChain!Exercise 4: Șabloane de prompturi Exercise 5: Șabloane de prompt și înlănțuire Exercise 6: Șabloane de prompt pentru chat Exercise 7: Prompting cu exemple Exercise 8: Crearea setului de exemple pentru few-shot prompting Exercise 9: Construirea șablonului de prompt cu few-shot Exercise 10: Implementarea few-shot prompting

Este momentul să treci la nivelul următor cu lanțurile LangChain! Vei învăța să folosești LangChain Expression Language (LCEL) pentru a defini lanțuri cu mai multă flexibilitate. Vei crea lanțuri secvențiale, în care datele de intrare sunt transmise între componente pentru a construi aplicații mai avansate. De asemenea, vei începe să integrezi agenți, care utilizează LLM-uri pentru luarea deciziilor.

Exercise 1: Lanțuri secvențiale Exercise 2: Construirea prompturilor pentru lanțuri secvențiale Exercise 3: Lanțuri secvențiale cu LCEL Exercise 4: Introducere în agenții LangChain Exercise 5: Ce este un agent?Exercise 6: Agenți ReAct Exercise 7: Instrumente personalizate pentru agenți Exercise 8: Definirea unei funcții pentru utilizarea unui instrument Exercise 9: Crearea de instrumente personalizate Exercise 10: Integrarea instrumentelor personalizate cu agenți

O limitare a LLM-urilor este că au o dată-limită a cunoștințelor, deoarece sunt antrenate pe date până la un anumit moment. În acest capitol, vei învăța să creezi aplicații care utilizează Retrieval Augmented Generation (RAG) pentru a integra date externe cu LLM-uri. Fluxul de lucru RAG include câteva procese distincte: divizarea datelor, crearea și stocarea embedding-urilor într-o bază de date vectorială și recuperarea celor mai relevante informații pentru utilizarea în aplicație. Vei învăța să stăpânești întregul flux de lucru!

Exercise 1: Integrarea încărcătoarelor de documente Exercise 2: Încărcătoare de documente PDF Exercise 3: Încărcătoare de documente CSV Exercise 4: Loadere pentru documente HTML Exercise 5: Împărțirea datelor externe pentru regăsire Exercise 6: Împărțire după caracter Exercise 7: Împărțirea recursivă după caractere Exercise 8: Divizarea HTML

Exercițiul curent

Exercise 9: Stocarea și regăsirea RAG cu baze de date vectoriale Exercise 10: Pregătirea documentelor și a bazei de date vectoriale Exercise 11: Construirea unui șablon de prompt pentru regăsire Exercise 12: Crearea unui lanț RAG Exercise 13: Rezumat!