Dzielenie HTML

W tym ćwiczeniu podzielisz plik HTML zawierający rozporządzenie wykonawcze w sprawie AI, wydane przez Biały Dom w październiku 2023 roku. Aby zachować jak najwięcej kontekstu w poszczególnych fragmentach, użyj większych wartości chunk_size i chunk_overlap.

Wszystkie niezbędne klasy LangChain zostały już załadowane.

To ćwiczenie jest częścią kursu

Tworzenie aplikacji LLM z LangChain

Instrukcje do ćwiczenia

Utwórz UnstructuredHTMLLoader dla pliku white_house_executive_order_nov_2023.html i załaduj go do pamięci.
Ustaw chunk_size na 300 i chunk_overlap na 100.
Utwórz RecursiveCharacterTextSplitter dzielący na znaku '.', a następnie użyj metody .split_documents(), aby podzielić data i wyświetlić fragmenty.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Tworzenie aplikacji LLM z LangChain

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Witaj w świecie frameworka LangChain do budowania aplikacji na bazie modeli LLM! Poznasz główne komponenty LangChain: modele, łańcuchy, agenty, prompty i parsery. Stworzysz chatboty z użyciem modeli open-source z Hugging Face oraz modeli komercyjnych od OpenAI, nauczysz się tworzyć szablony promptów i integrować różne strategie pamięci chatbota, aby zarządzać kontekstem i zasobami podczas rozmów.

Exercise 1: Ekosystem LangChain Exercise 2: Modele OpenAI w LangChain!Exercise 3: Modele Hugging Face w LangChain!Exercise 4: Szablony promptów Exercise 5: Szablony promptów i łańcuchy Exercise 6: Szablony promptów czatu Exercise 7: Prompting z przykładami (few-shot prompting)Exercise 8: Tworzenie zbioru przykładów do few-shot prompting Exercise 9: Budowanie szablonu promptu few-shot Exercise 10: Implementacja promptowania few-shot

Czas przenieść swoje łańcuchy LangChain na wyższy poziom! Nauczysz się korzystać z LangChain Expression Language (LCEL) do elastycznego definiowania łańcuchów. Stworzysz łańcuchy sekwencyjne, w których dane przekazywane są między komponentami, umożliwiając budowanie bardziej zaawansowanych aplikacji. Zaczniesz też integrować agenty, które wykorzystują modele LLM do podejmowania decyzji.

Exercise 1: Łańcuchy sekwencyjne Exercise 2: Tworzenie promptów do łańcuchów sekwencyjnych Exercise 3: Sekwencyjne łańcuchy z LCEL Exercise 4: Wprowadzenie do agentów LangChain Exercise 5: Czym jest agent?Exercise 6: Agenty ReAct Exercise 7: Własne narzędzia dla agentów Exercise 8: Definiowanie funkcji do użycia jako narzędzie Exercise 9: Tworzenie własnych narzędzi Exercise 10: Integracja własnych narzędzi z agentami

Jednym z ograniczeń modeli LLM jest to, że ich wiedza ma określoną datę graniczną – są trenowane na danych zebranych do pewnego momentu. W tym rozdziale nauczysz się tworzyć aplikacje wykorzystujące Retrieval Augmented Generation (RAG) do integrowania zewnętrznych danych z modelami LLM. Przepływ pracy RAG obejmuje kilka procesów: dzielenie danych, tworzenie i przechowywanie osadzeń w wektorowej bazie danych oraz pobieranie najbardziej trafnych informacji do użycia w aplikacji. Opanujesz cały ten proces!

Exercise 1: Integrowanie wczytywania dokumentów Exercise 2: Wczytywanie dokumentów PDF Exercise 3: Wczytywanie dokumentów CSV Exercise 4: Loadery dokumentów HTML Exercise 5: Podział danych zewnętrznych na potrzeby wyszukiwania Exercise 6: Podział według znaku Exercise 7: Rekurencyjne dzielenie według znaków Exercise 8: Dzielenie HTML

Bieżące ćwiczenie

Exercise 9: Przechowywanie i pobieranie danych w RAG z użyciem wektorowych baz danych Exercise 10: Przygotowanie dokumentów i wektorowej bazy danych Exercise 11: Tworzenie szablonu promptu do wyszukiwania Exercise 12: Tworzenie łańcucha RAG Exercise 13: Podsumowanie!