Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Wprowadzenie do RLHF

Generowanie tekstu z użyciem RLHF

Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF

RL a RLHF

Eksploracja wstępnie wytrenowanych LLM

Tokenizacja zbioru danych tekstowych

Dostrajanie modelu do klasyfikacji recenzji

Przygotowanie danych do RLHF

Przygotowanie zbioru danych preferencji

Wyodrębnianie promptów

Podstawowe pojęcia

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Metody zbierania wysokiej jakości opinii

Porównanie i ocenianie w RLHF

Porównywanie sloganów do kampanii reklamowej siłowni

Pomiar jakości i trafności informacji zwrotnych

Niska pewność

K-means do grupowania opinii

Aktywne uczenie

Implementacja potoku aktywnego uczenia

Pętla aktywnego uczenia

Zbieranie informacji zwrotnej od człowieka

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Eksploracja modeli nagrody

Inicjalizacja nagrody

Konfiguracja trenera nagród

Trening z użyciem PPO

Inicjalizacja trenera PPO

Dostrajanie z PPO

Wydajne dostrajanie w RLHF

Przygotowanie do treningu 8-bitowego

Trenowanie z LoRA

Dostrajanie modeli z wykorzystaniem informacji zwrotnej od człowieka

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Metryki i dostosowywanie modelu

Łagodzenie negatywnej dywergencji KL

Weryfikacja modelu nagród

Uwzględnianie różnorodnych źródeł informacji zwrotnej

Głosowanie większościowe na wielu źródłach danych

Identyfikacja niewiarygodnych źródeł danych

Ewaluacja modeli RLHF

Interpretacja krzywych

Ocena RLHF za pomocą metryk

Podsumowanie twojej przygody z RLHF

Ewaluacja modelu

Połącz efektywność generatywnej sztucznej inteligencji z wiedzą ekspercką człowieka w tym kursie poświęconym uczeniu przez wzmacnianie z informacją zwrotną od człowieka. Dowiesz się, jak sprawić, by modele generatywnej SI naprawdę odzwierciedlały ludzkie wartości i preferencje, a przy tym zdobędziesz praktyczne doświadczenie z dużymi modelami językowymi. Poznasz też zawiłości modeli nagrody i nauczysz się rozwijać LLM-y tak, by tworzyć SI, która nie tylko się uczy, ale też dostosowuje do rzeczywistych scenariuszy.

Deep Reinforcement Learning in Python

Poznaj tworzenie modeli GenAI odzwierciedlających ludzkie wartości i zdobywaj doświadczenie z zaawansowanymi LLM.

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Naucz się, jak sprawić, by modele GenAI naprawdę odzwierciedlały ludzkie wartości, zdobywając praktyczne doświadczenie z zaawansowanymi LLM.

Tworzenie dużych modeli językowych

Uczenie ze wzmocnieniem w Pythonie

RL a RLHF

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Interaktywne ćwiczenie praktyczne