Unzuverlässige Datenquelle identifizieren

Dein Team entwickelt ein Modell, das bei der Erstellung präziser Berichte in der Fahrzeugsicherheitsbranche unterstützt. Ihr habt Präferenzdaten aus drei Datenquellen gesammelt – einem "GlobalDrive Safety Institute", einer "AutoTech Safety Alliance" und "QuickScan Auto Review". Kürzlich gab es Bedenken hinsichtlich der Datenintegrität, und du wurdest gebeten, die Daten auf unzuverlässige Quellen zu prüfen.

automotive_df ist ein zusammengeführtes DataFrame, das mit der vorab importierten pandas-Bibliothek geladen wurde. Es enthält Daten aus den drei Quellen. Die vorab importierte Funktion majority_vote erstellt ein wörterbuchähnliches Objekt mit dem Mehrheits‑Paar (chosen, rejected) pro 'id'.

Diese Übung ist Teil des Kurses

Reinforcement Learning aus menschlichem Feedback (RLHF)

Anleitung zur Übung

Definiere die Bedingung, um eine Uneinigkeit mit der Mehrheitsentscheidung für eine gegebene Datenquelle zu zählen.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

def detect_unreliable_source(merged_df):
    df_majority = df.groupby('id').apply(majority_vote)
    disagreements = {source: 0 for source in df['source'].unique()}
    for _, row in df.iterrows():
        # Condition to find a disagreement with majority vote
        ____
    unreliable_source = max(disagreements, key=disagreements.get)
    return unreliable_source

disagreement = detect_unreliable_source(automotive_df)
print("Unreliable Source:", disagreement)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Reinforcement Learning aus menschlichem Feedback (RLHF)

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Dieses Kapitel führt in die Grundlagen von Reinforcement Learning aus menschlichem Feedback (RLHF) ein – eine Technik, die menschliche Rückmeldungen nutzt, damit KI-Modelle effektiver lernen. Starte mit RLHF, indem du verstehst, wie es sich vom klassischen Reinforcement Learning unterscheidet und warum menschliches Feedback die KI-Leistung in verschiedenen Bereichen steigern kann.

Exercise 1: Einführung in RLHF Exercise 2: Textgenerierung mit RLHF Exercise 3: Generierten Text für RLHF klassifizieren Exercise 4: RL vs. RLHF Exercise 5: Vortrainierte LLMs erkunden Exercise 6: Einen Textdatensatz tokenisieren Exercise 7: Feinabstimmung für die Review-Klassifikation Exercise 8: Daten für RLHF vorbereiten Exercise 9: Den Präferenzdatensatz vorbereiten Exercise 10: Prompts extrahieren

Erfahre in diesem Kapitel, wie du Systeme für das Sammeln von menschlichem Feedback aufsetzt. Lerne Best Practices für das Erheben hochwertiger Daten – von paarweisen Vergleichen bis hin zu Uncertainty Sampling – und entdecke Strategien, um deine Datenerhebung zu verbessern.

Exercise 1: Methoden für hochwertiges Feedback-Sammeln Exercise 2: Vergleich und Bewertung in RLHF verstehen Exercise 3: Slogans für eine Fitnessstudio-Kampagne vergleichen Exercise 4: Qualität und Relevanz von Feedback messen Exercise 5: Geringe Sicherheit Exercise 6: K-Means für Feedback-Clustering Exercise 7: Aktives Lernen Exercise 8: Eine Active-Learning-Pipeline implementieren Exercise 9: Active-Learning-Schleife

In diesem Kapitel tauchst du in den Kern des Trainings mit Reinforcement Learning aus menschlichem Feedback ein. Dazu gehören Fine-Tuning mit PPO, effiziente Trainingsmethoden und der Umgang mit möglichen Abweichungen von den Zielgrößen deiner Metriken.

Exercise 1: Reward-Modelle im Detail Exercise 2: Den Reward initialisieren Exercise 3: Den Reward Trainer einrichten Exercise 4: Training mit PPO Exercise 5: Den PPO-Trainer initialisieren Exercise 6: PPO-Finetuning Exercise 7: Effizientes Finetuning in RLHF Exercise 8: Für 8-Bit-Training vorbereiten Exercise 9: Mit LoRA trainieren

Entdecke in diesem letzten Kapitel zu Reinforcement Learning aus menschlichem Feedback (RLHF) zentrale Techniken zur Bewertung und Verbesserung der Modellleistung: von Fine-Tuning-Metriken bis zur Einbindung vielfältiger Feedbackquellen erhältst du ein umfassendes Toolkit, um deine Modelle gezielt zu verfeinern.

Exercise 1: Modellmetriken und Anpassungen Exercise 2: Negative KL-Divergenz abmildern Exercise 3: Das Reward-Modell überprüfen Exercise 4: Verschiedene Feedbackquellen einbinden Exercise 5: Mehrheitsvoting über mehrere Datenquellen Exercise 6: Unzuverlässige Datenquelle identifizieren

Aktuelle Übung

Exercise 7: RLHF-Modelle bewerten Exercise 8: Kurven interpretieren Exercise 9: RLHF mit Metriken bewerten Exercise 10: Zum Abschluss deiner RLHF-Reise