Den Präferenzdatensatz vorbereiten

In dieser Übung arbeitest du mit einem Datensatz, der menschliches Feedback in Form von „chosen“- und „rejected“-Ausgaben enthält. Deine Aufgabe ist es, die Prompts aus der Spalte „chosen“ zu extrahieren und die Daten für das Training eines Reward-Modells aufzubereiten.

Die Funktion load_dataset aus datasets wurde bereits importiert.

Diese Übung ist Teil des Kurses

Reinforcement Learning aus menschlichem Feedback (RLHF)

Anleitung zur Übung

Lade den Datensatz trl-internal-testing/hh-rlhf-helpful-base-trl-style von Hugging Face.
Schreibe eine Funktion, die den Prompt aus dem Feld 'content' extrahiert. Gehe davon aus, dass sich der Prompt am Index 0 des Funktionsinputs befindet.
Wende die Funktion zur Promptextraktion auf die Teilmenge 'chosen' des Datensatzes an.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Load the dataset
preference_data = ____

# Define a function to extract the prompt
def extract_prompt(text):
    ____
    return prompt

# Apply the function to the dataset 
preference_data_with_prompt = ____(
    lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)

sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Reinforcement Learning aus menschlichem Feedback (RLHF)

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Dieses Kapitel führt in die Grundlagen von Reinforcement Learning aus menschlichem Feedback (RLHF) ein – eine Technik, die menschliche Rückmeldungen nutzt, damit KI-Modelle effektiver lernen. Starte mit RLHF, indem du verstehst, wie es sich vom klassischen Reinforcement Learning unterscheidet und warum menschliches Feedback die KI-Leistung in verschiedenen Bereichen steigern kann.

Exercise 1: Einführung in RLHF Exercise 2: Textgenerierung mit RLHF Exercise 3: Generierten Text für RLHF klassifizieren Exercise 4: RL vs. RLHF Exercise 5: Vortrainierte LLMs erkunden Exercise 6: Einen Textdatensatz tokenisieren Exercise 7: Feinabstimmung für die Review-Klassifikation Exercise 8: Daten für RLHF vorbereiten Exercise 9: Den Präferenzdatensatz vorbereiten

Aktuelle Übung

Exercise 10: Prompts extrahieren

Erfahre in diesem Kapitel, wie du Systeme für das Sammeln von menschlichem Feedback aufsetzt. Lerne Best Practices für das Erheben hochwertiger Daten – von paarweisen Vergleichen bis hin zu Uncertainty Sampling – und entdecke Strategien, um deine Datenerhebung zu verbessern.

Exercise 1: Methoden für hochwertiges Feedback-Sammeln Exercise 2: Vergleich und Bewertung in RLHF verstehen Exercise 3: Slogans für eine Fitnessstudio-Kampagne vergleichen Exercise 4: Qualität und Relevanz von Feedback messen Exercise 5: Geringe Sicherheit Exercise 6: K-Means für Feedback-Clustering Exercise 7: Aktives Lernen Exercise 8: Eine Active-Learning-Pipeline implementieren Exercise 9: Active-Learning-Schleife

In diesem Kapitel tauchst du in den Kern des Trainings mit Reinforcement Learning aus menschlichem Feedback ein. Dazu gehören Fine-Tuning mit PPO, effiziente Trainingsmethoden und der Umgang mit möglichen Abweichungen von den Zielgrößen deiner Metriken.

Exercise 1: Reward-Modelle im Detail Exercise 2: Den Reward initialisieren Exercise 3: Den Reward Trainer einrichten Exercise 4: Training mit PPO Exercise 5: Den PPO-Trainer initialisieren Exercise 6: PPO-Finetuning Exercise 7: Effizientes Finetuning in RLHF Exercise 8: Für 8-Bit-Training vorbereiten Exercise 9: Mit LoRA trainieren

Entdecke in diesem letzten Kapitel zu Reinforcement Learning aus menschlichem Feedback (RLHF) zentrale Techniken zur Bewertung und Verbesserung der Modellleistung: von Fine-Tuning-Metriken bis zur Einbindung vielfältiger Feedbackquellen erhältst du ein umfassendes Toolkit, um deine Modelle gezielt zu verfeinern.

Exercise 1: Modellmetriken und Anpassungen Exercise 2: Negative KL-Divergenz abmildern Exercise 3: Das Reward-Modell überprüfen Exercise 4: Verschiedene Feedbackquellen einbinden Exercise 5: Mehrheitsvoting über mehrere Datenquellen Exercise 6: Unzuverlässige Datenquelle identifizieren Exercise 7: RLHF-Modelle bewerten Exercise 8: Kurven interpretieren Exercise 9: RLHF mit Metriken bewerten Exercise 10: Zum Abschluss deiner RLHF-Reise