Implementacja potoku aktywnego uczenia

W tym ćwiczeniu skonfigurujesz aktywny model uczenia, korzystając z regresji logistycznej i strategii próbkowania opartej na niepewności.

Zbiór danych został wczytany: X_labeled zawiera oznaczone dane treningowe, X_unlabeled – dane bez etykiet, a y_labeled – etykiety.

Wymagane biblioteki zostały już zaimportowane: ActiveLearner z modAL.models, uncertainty_sampling z modAL.uncertainty oraz LogisticRegression z sklearn.linear_model.

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Instrukcje do ćwiczenia

Zainicjalizuj obiekt ActiveLearner.
Użyj LogisticRegression jako estymatora.
Użyj próbkowania opartego na niepewności jako strategii zapytań.
Zainicjalizuj model na oznaczonych danych treningowych.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create the active learner object
learner = ____(
    # Set the estimator 
    ____,
    # Set the query strategy
    ____,
    # Pass the labeled data
    X_training=____, y_training=____
)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Exercise 1: Wprowadzenie do RLHF Exercise 2: Generowanie tekstu z użyciem RLHF Exercise 3: Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF Exercise 4: RL a RLHF Exercise 5: Eksploracja wstępnie wytrenowanych LLM Exercise 6: Tokenizacja zbioru danych tekstowych Exercise 7: Dostrajanie modelu do klasyfikacji recenzji Exercise 8: Przygotowanie danych do RLHF Exercise 9: Przygotowanie zbioru danych preferencji Exercise 10: Wyodrębnianie promptów

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Exercise 1: Metody zbierania wysokiej jakości opinii Exercise 2: Porównanie i ocenianie w RLHF Exercise 3: Porównywanie sloganów do kampanii reklamowej siłowni Exercise 4: Pomiar jakości i trafności informacji zwrotnych Exercise 5: Niska pewność Exercise 6: K-means do grupowania opinii Exercise 7: Aktywne uczenie Exercise 8: Implementacja potoku aktywnego uczenia

Bieżące ćwiczenie

Exercise 9: Pętla aktywnego uczenia

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Exercise 1: Eksploracja modeli nagrody Exercise 2: Inicjalizacja nagrody Exercise 3: Konfiguracja trenera nagród Exercise 4: Trening z użyciem PPO Exercise 5: Inicjalizacja trenera PPO Exercise 6: Dostrajanie z PPO Exercise 7: Wydajne dostrajanie w RLHF Exercise 8: Przygotowanie do treningu 8-bitowego Exercise 9: Trenowanie z LoRA

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Exercise 1: Metryki i dostosowywanie modelu Exercise 2: Łagodzenie negatywnej dywergencji KL Exercise 3: Weryfikacja modelu nagród Exercise 4: Uwzględnianie różnorodnych źródeł informacji zwrotnej Exercise 5: Głosowanie większościowe na wielu źródłach danych Exercise 6: Identyfikacja niewiarygodnych źródeł danych Exercise 7: Ewaluacja modeli RLHF Exercise 8: Interpretacja krzywych Exercise 9: Ocena RLHF za pomocą metryk Exercise 10: Podsumowanie twojej przygody z RLHF