Konfiguracja trenera nagród

Projekt jest kontynuowany – masz już gotowe obiekty model i config, które pozwolą ci rozpocząć trenowanie modelu nagród.

Zbiory danych do trenowania i ewaluacji zostały wstępnie załadowane jako train_data i eval_data. Klasa RewardTrainer została zaimportowana z biblioteki trl.

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Zobacz kurs

Instrukcje do ćwiczenia

Zainicjalizuj RewardTrainer(), przypisując do jego atrybutów: model, tokenizer, zbiór treningowy, zbiór ewaluacyjny oraz konfigurację nagrody.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

307 reviews

Rozpocznij kurs za darmo

Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Exercise 1: Wprowadzenie do RLHF Exercise 2: Generowanie tekstu z użyciem RLHF Exercise 3: Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF Exercise 4: RL a RLHF Exercise 5: Eksploracja wstępnie wytrenowanych LLM Exercise 6: Tokenizacja zbioru danych tekstowych Exercise 7: Dostrajanie modelu do klasyfikacji recenzji Exercise 8: Przygotowanie danych do RLHF Exercise 9: Przygotowanie zbioru danych preferencji Exercise 10: Wyodrębnianie promptów

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Exercise 1: Metody zbierania wysokiej jakości opinii Exercise 2: Porównanie i ocenianie w RLHF Exercise 3: Porównywanie sloganów do kampanii reklamowej siłowni Exercise 4: Pomiar jakości i trafności informacji zwrotnych Exercise 5: Niska pewność Exercise 6: K-means do grupowania opinii Exercise 7: Aktywne uczenie Exercise 8: Implementacja potoku aktywnego uczenia Exercise 9: Pętla aktywnego uczenia

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Exercise 1: Eksploracja modeli nagrody Exercise 2: Inicjalizacja nagrody Exercise 3: Konfiguracja trenera nagród

Bieżące ćwiczenie

Exercise 4: Trening z użyciem PPO Exercise 5: Inicjalizacja trenera PPO Exercise 6: Dostrajanie z PPO Exercise 7: Wydajne dostrajanie w RLHF Exercise 8: Przygotowanie do treningu 8-bitowego Exercise 9: Trenowanie z LoRA

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Exercise 1: Metryki i dostosowywanie modelu Exercise 2: Łagodzenie negatywnej dywergencji KL Exercise 3: Weryfikacja modelu nagród Exercise 4: Uwzględnianie różnorodnych źródeł informacji zwrotnej Exercise 5: Głosowanie większościowe na wielu źródłach danych Exercise 6: Identyfikacja niewiarygodnych źródeł danych Exercise 7: Ewaluacja modeli RLHF Exercise 8: Interpretacja krzywych Exercise 9: Ocena RLHF za pomocą metryk Exercise 10: Podsumowanie twojej przygody z RLHF