Wczytywanie dokumentów PDF

Aby rozpocząć implementację Retrieval Augmented Generation (RAG), najpierw musisz wczytać dokumenty, do których model będzie miał dostęp. Mogą one pochodzić z różnych źródeł, a LangChain obsługuje loadery dokumentów dla wielu z nich.

W tym ćwiczeniu użyjesz loadera dokumentów, aby wczytać plik PDF zawierający artykuł RAG VS Fine-Tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture autorstwa Balaguer i in. (2024).

Uwaga: pypdf, wymagana zależność do wczytywania dokumentów PDF w LangChain, jest już zainstalowana.

To ćwiczenie jest częścią kursu

Tworzenie aplikacji LLM z LangChain

Instrukcje do ćwiczenia

Zaimportuj odpowiednią klasę do wczytywania dokumentów PDF w LangChain.
Utwórz loader dokumentu dla pliku 'rag_vs_fine_tuning.pdf', który znajduje się w bieżącym katalogu.
Załaduj dokument do pamięci, aby wyświetlić zawartość pierwszego dokumentu (strony).

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import library
from langchain_community.document_loaders import ____

# Create a document loader for rag_vs_fine_tuning.pdf
loader = ____

# Load the document
data = ____
print(data[0])

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Tworzenie aplikacji LLM z LangChain

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Witaj w świecie frameworka LangChain do budowania aplikacji na bazie modeli LLM! Poznasz główne komponenty LangChain: modele, łańcuchy, agenty, prompty i parsery. Stworzysz chatboty z użyciem modeli open-source z Hugging Face oraz modeli komercyjnych od OpenAI, nauczysz się tworzyć szablony promptów i integrować różne strategie pamięci chatbota, aby zarządzać kontekstem i zasobami podczas rozmów.

Exercise 1: Ekosystem LangChain Exercise 2: Modele OpenAI w LangChain!Exercise 3: Modele Hugging Face w LangChain!Exercise 4: Szablony promptów Exercise 5: Szablony promptów i łańcuchy Exercise 6: Szablony promptów czatu Exercise 7: Prompting z przykładami (few-shot prompting)Exercise 8: Tworzenie zbioru przykładów do few-shot prompting Exercise 9: Budowanie szablonu promptu few-shot Exercise 10: Implementacja promptowania few-shot

Czas przenieść swoje łańcuchy LangChain na wyższy poziom! Nauczysz się korzystać z LangChain Expression Language (LCEL) do elastycznego definiowania łańcuchów. Stworzysz łańcuchy sekwencyjne, w których dane przekazywane są między komponentami, umożliwiając budowanie bardziej zaawansowanych aplikacji. Zaczniesz też integrować agenty, które wykorzystują modele LLM do podejmowania decyzji.

Exercise 1: Łańcuchy sekwencyjne Exercise 2: Tworzenie promptów do łańcuchów sekwencyjnych Exercise 3: Sekwencyjne łańcuchy z LCEL Exercise 4: Wprowadzenie do agentów LangChain Exercise 5: Czym jest agent?Exercise 6: Agenty ReAct Exercise 7: Własne narzędzia dla agentów Exercise 8: Definiowanie funkcji do użycia jako narzędzie Exercise 9: Tworzenie własnych narzędzi Exercise 10: Integracja własnych narzędzi z agentami

Jednym z ograniczeń modeli LLM jest to, że ich wiedza ma określoną datę graniczną – są trenowane na danych zebranych do pewnego momentu. W tym rozdziale nauczysz się tworzyć aplikacje wykorzystujące Retrieval Augmented Generation (RAG) do integrowania zewnętrznych danych z modelami LLM. Przepływ pracy RAG obejmuje kilka procesów: dzielenie danych, tworzenie i przechowywanie osadzeń w wektorowej bazie danych oraz pobieranie najbardziej trafnych informacji do użycia w aplikacji. Opanujesz cały ten proces!

Exercise 1: Integrowanie wczytywania dokumentów Exercise 2: Wczytywanie dokumentów PDF

Bieżące ćwiczenie

Exercise 3: Wczytywanie dokumentów CSV Exercise 4: Loadery dokumentów HTML Exercise 5: Podział danych zewnętrznych na potrzeby wyszukiwania Exercise 6: Podział według znaku Exercise 7: Rekurencyjne dzielenie według znaków Exercise 8: Dzielenie HTML Exercise 9: Przechowywanie i pobieranie danych w RAG z użyciem wektorowych baz danych Exercise 10: Przygotowanie dokumentów i wektorowej bazy danych Exercise 11: Tworzenie szablonu promptu do wyszukiwania Exercise 12: Tworzenie łańcucha RAG Exercise 13: Podsumowanie!