Przygotowanie zbioru danych preferencji

W tym ćwiczeniu będziesz pracować ze zbiorem danych zawierającym informacje zwrotne od ludzi w postaci wyników oznaczonych jako "chosen" (wybrany) i "rejected" (odrzucony). Twoim zadaniem jest wyodrębnienie promptów z kolumny "chosen" i przygotowanie danych do trenowania modelu nagrody.

Funkcja load_dataset z biblioteki datasets została już zaimportowana.

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Instrukcje do ćwiczenia

Wczytaj zbiór danych trl-internal-testing/hh-rlhf-helpful-base-trl-style z Hugging Face.
Napisz funkcję, która wyodrębnia prompt z pola 'content', zakładając, że prompt znajduje się pod indeksem 0 argumentu wejściowego funkcji.
Zastosuj funkcję wyodrębniającą prompt do podzbioru 'chosen' zbioru danych.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the dataset
preference_data = ____

# Define a function to extract the prompt
def extract_prompt(text):
    ____
    return prompt

# Apply the function to the dataset 
preference_data_with_prompt = ____(
    lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)

sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Exercise 1: Wprowadzenie do RLHF Exercise 2: Generowanie tekstu z użyciem RLHF Exercise 3: Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF Exercise 4: RL a RLHF Exercise 5: Eksploracja wstępnie wytrenowanych LLM Exercise 6: Tokenizacja zbioru danych tekstowych Exercise 7: Dostrajanie modelu do klasyfikacji recenzji Exercise 8: Przygotowanie danych do RLHF Exercise 9: Przygotowanie zbioru danych preferencji

Bieżące ćwiczenie

Exercise 10: Wyodrębnianie promptów

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Exercise 1: Metody zbierania wysokiej jakości opinii Exercise 2: Porównanie i ocenianie w RLHF Exercise 3: Porównywanie sloganów do kampanii reklamowej siłowni Exercise 4: Pomiar jakości i trafności informacji zwrotnych Exercise 5: Niska pewność Exercise 6: K-means do grupowania opinii Exercise 7: Aktywne uczenie Exercise 8: Implementacja potoku aktywnego uczenia Exercise 9: Pętla aktywnego uczenia

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Exercise 1: Eksploracja modeli nagrody Exercise 2: Inicjalizacja nagrody Exercise 3: Konfiguracja trenera nagród Exercise 4: Trening z użyciem PPO Exercise 5: Inicjalizacja trenera PPO Exercise 6: Dostrajanie z PPO Exercise 7: Wydajne dostrajanie w RLHF Exercise 8: Przygotowanie do treningu 8-bitowego Exercise 9: Trenowanie z LoRA

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Exercise 1: Metryki i dostosowywanie modelu Exercise 2: Łagodzenie negatywnej dywergencji KL Exercise 3: Weryfikacja modelu nagród Exercise 4: Uwzględnianie różnorodnych źródeł informacji zwrotnej Exercise 5: Głosowanie większościowe na wielu źródłach danych Exercise 6: Identyfikacja niewiarygodnych źródeł danych Exercise 7: Ewaluacja modeli RLHF Exercise 8: Interpretacja krzywych Exercise 9: Ocena RLHF za pomocą metryk Exercise 10: Podsumowanie twojej przygody z RLHF