Dieses Kapitel führt in die Grundlagen von Reinforcement Learning aus menschlichem Feedback (RLHF) ein – eine Technik, die menschliche Rückmeldungen nutzt, damit KI-Modelle effektiver lernen. Starte mit RLHF, indem du verstehst, wie es sich vom klassischen Reinforcement Learning unterscheidet und warum menschliches Feedback die KI-Leistung in verschiedenen Bereichen steigern kann.

Einführung in RLHF

Textgenerierung mit RLHF

Generierten Text für RLHF klassifizieren

RL vs. RLHF

Vortrainierte LLMs erkunden

Einen Textdatensatz tokenisieren

Feinabstimmung für die Review-Klassifikation

Daten für RLHF vorbereiten

Den Präferenzdatensatz vorbereiten

Prompts extrahieren

Grundlagen

Erfahre in diesem Kapitel, wie du Systeme für das Sammeln von menschlichem Feedback aufsetzt. Lerne Best Practices für das Erheben hochwertiger Daten – von paarweisen Vergleichen bis hin zu Uncertainty Sampling – und entdecke Strategien, um deine Datenerhebung zu verbessern.

Methoden für hochwertiges Feedback-Sammeln

Optionen

Comparison

Rating

Vergleich und Bewertung in RLHF verstehen

Slogans für eine Fitnessstudio-Kampagne vergleichen

Qualität und Relevanz von Feedback messen

Geringe Sicherheit

K-Means für Feedback-Clustering

Aktives Lernen

Eine Active-Learning-Pipeline implementieren

Active-Learning-Schleife

Menschliches Feedback sammeln

In diesem Kapitel tauchst du in den Kern des Trainings mit Reinforcement Learning aus menschlichem Feedback ein. Dazu gehören Fine-Tuning mit PPO, effiziente Trainingsmethoden und der Umgang mit möglichen Abweichungen von den Zielgrößen deiner Metriken.

Reward-Modelle im Detail

Den Reward initialisieren

Den Reward Trainer einrichten

Training mit PPO

Den PPO-Trainer initialisieren

PPO-Finetuning

Effizientes Finetuning in RLHF

Für 8-Bit-Training vorbereiten

Mit LoRA trainieren

Modelle mit menschlichem Feedback optimieren

Entdecke in diesem letzten Kapitel zu Reinforcement Learning aus menschlichem Feedback (RLHF) zentrale Techniken zur Bewertung und Verbesserung der Modellleistung: von Fine-Tuning-Metriken bis zur Einbindung vielfältiger Feedbackquellen erhältst du ein umfassendes Toolkit, um deine Modelle gezielt zu verfeinern.

Modellmetriken und Anpassungen

Negative KL-Divergenz abmildern

Das Reward-Modell überprüfen

Verschiedene Feedbackquellen einbinden

Mehrheitsvoting über mehrere Datenquellen

Unzuverlässige Datenquelle identifizieren

RLHF-Modelle bewerten

Kurven interpretieren

RLHF mit Metriken bewerten

Zum Abschluss deiner RLHF-Reise

Modellevaluierung

Kombiniere in diesem Kurs zur Methode Reinforcement Learning aus menschlichem Feedback die Effizienz von Generative AI mit dem Verständnis menschlicher Expertise. Du lernst, wie GenAI-Modelle menschliche Werte und Vorlieben wirklich widerspiegeln und sammelst praktische Erfahrung mit LLMs. Außerdem navigierst du die Komplexität von Belohnungsmodellen und erfährst, wie du auf LLMs aufbaust, um KI zu entwickeln, die nicht nur lernt, sondern sich auch an reale Szenarien anpasst.

Deep Reinforcement Learning in Python

Lernen Sie, GenAI-Modelle menschliche Werte widerspiegeln zu lassen und sammeln Sie Praxis mit fortgeschrittenen LLMs.

Reinforcement Learning aus menschlichem Feedback (RLHF)

Hier erfährst du, wie du GenAI-Modellen menschliche Werte vermittelst, und sammelst praktische Erfahrungen mit fortgeschrittenen LLMs.

Entwicklung von großen Sprachmodellen

Reinforcement Learning in Python

Wähle, welcher der folgenden Filme am besten ist: "Interstellar" oder "Oppenheimer"

Vergib für jeden Film eine Punktzahl von 1 bis 5 basierend auf der Wichtigkeit: "Titanic", "Gladiator", "Interstellar"

Vergleich und Bewertung in RLHF verstehen

Reinforcement Learning aus menschlichem Feedback (RLHF)

Interaktive Übung