Inicjalizacja nagrody

Jesteś na ostatnim etapie wdrażania modelu generatywnego, który ma oferować spersonalizowane rekomendacje dla internetowej księgarni. Aby dopasować ten model do rekomendacji preferowanych przez ludzi, musisz wytrenować model nagrody na zebranych danych preferencji. Pierwszym krokiem jest zainicjalizowanie modelu i parametrów konfiguracyjnych.

AutoTokenizer i AutoModelForSequenceClassification zostały wstępnie załadowane z transformers. RewardConfig zostało wstępnie załadowane z trl.

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Instrukcje do ćwiczenia

Załaduj model GPT-1, "openai-gpt", do zadania klasyfikacji sekwencji, korzystając z AutoModelForSequenceClassification z Hugging Face.
Zainicjalizuj konfigurację nagrody, używając "output_dir" jako katalogu wyjściowego, i ustaw maksymalną długość tokenu na 60.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the pre-trained GPT-1 model for text classification
model = ____

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")

# Initialize the reward configuration and set max_length
config = ____(output_dir=____, max_length=____)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Exercise 1: Wprowadzenie do RLHF Exercise 2: Generowanie tekstu z użyciem RLHF Exercise 3: Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF Exercise 4: RL a RLHF Exercise 5: Eksploracja wstępnie wytrenowanych LLM Exercise 6: Tokenizacja zbioru danych tekstowych Exercise 7: Dostrajanie modelu do klasyfikacji recenzji Exercise 8: Przygotowanie danych do RLHF Exercise 9: Przygotowanie zbioru danych preferencji Exercise 10: Wyodrębnianie promptów

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Exercise 1: Metody zbierania wysokiej jakości opinii Exercise 2: Porównanie i ocenianie w RLHF Exercise 3: Porównywanie sloganów do kampanii reklamowej siłowni Exercise 4: Pomiar jakości i trafności informacji zwrotnych Exercise 5: Niska pewność Exercise 6: K-means do grupowania opinii Exercise 7: Aktywne uczenie Exercise 8: Implementacja potoku aktywnego uczenia Exercise 9: Pętla aktywnego uczenia

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Exercise 1: Eksploracja modeli nagrody Exercise 2: Inicjalizacja nagrody

Bieżące ćwiczenie

Exercise 3: Konfiguracja trenera nagród Exercise 4: Trening z użyciem PPO Exercise 5: Inicjalizacja trenera PPO Exercise 6: Dostrajanie z PPO Exercise 7: Wydajne dostrajanie w RLHF Exercise 8: Przygotowanie do treningu 8-bitowego Exercise 9: Trenowanie z LoRA

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Exercise 1: Metryki i dostosowywanie modelu Exercise 2: Łagodzenie negatywnej dywergencji KL Exercise 3: Weryfikacja modelu nagród Exercise 4: Uwzględnianie różnorodnych źródeł informacji zwrotnej Exercise 5: Głosowanie większościowe na wielu źródłach danych Exercise 6: Identyfikacja niewiarygodnych źródeł danych Exercise 7: Ewaluacja modeli RLHF Exercise 8: Interpretacja krzywych Exercise 9: Ocena RLHF za pomocą metryk Exercise 10: Podsumowanie twojej przygody z RLHF