Training, Tuning & Feedback

Du arbeitest an einem Projekt, bei dem du ein Modell mit der Technik „Reinforcement Learning through Human Feedback“ (RLHF) entwickelst, um dessen Leistung für den Kundensupport zu verbessern.

Welche dieser Optionen beschreibt den RLHF-Prozess am besten?

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Geringe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Die KI-Landschaft entwickelt sich schnell weiter, und große Sprachmodelle (LLMs) sind das prominenteste Beispiel dafür. In diesem Kapitel wird untersucht, wie LLMs die Entwicklung von menschenähnlicher künstlicher Intelligenz vorantreiben und durch ihre zahlreichen Anwendungen ganze Branchen verändern. Du wirst die Herausforderungen und die Komplexität erkunden, die mit der Sprachmodellierung verbunden sind.

Exercise 1: Der Aufstieg von LLMs in der KI-Landschaft Exercise 2: Definition eines LLM Exercise 3: LLMs in der KI-Landschaft Exercise 4: KI vs. LLM-Anwendungen Exercise 5: Praxisanwendungen Exercise 6: Geschäftliche Anwendungen Exercise 7: Multimodale Anwendungen Exercise 8: Datengetriebene Aufgaben automatisieren Exercise 9: Herausforderungen der Sprachmodellierung Exercise 10: Was kann ein Sprachmodell leisten?Exercise 11: Single- vs. Multi-Task-Lernen

Dieses Kapitel zeigt das Neuartige an LLMs und welche Fähigkeiten sie haben, und erklärt verschiedene NLP-Techniken für die Datenvorbereitung. Du lernst die Herausforderungen beim Training von LLMs kennen und erfährst, wie man sie mit Fine-Tuning effektiv angehen kann. Du wirst auch verstehen, wie N-Shot-Lerntechniken eine effiziente Anpassung von vortrainierten Modellen ermöglichen, wenn sie mit nicht vollständig gekennzeichneten Daten konfrontiert werden.

Exercise 1: Neuartigkeit von LLMs Exercise 2: Problemlösung mit LLMs Exercise 3: Traditionelle Modelle vs. LLMs Exercise 4: Allgemeiner Überblick über NLP Exercise 5: Datenaufbereitung Exercise 6: Textvorverarbeitung und -repräsentation Exercise 7: Worteinbettungen anstatt Bag-of-Words Exercise 8: Fine-Tuning Exercise 9: Herausforderungen beim Aufbau von LLMs Exercise 10: Ein vorab trainiertes Modell anpassen Exercise 11: Pre-Training oder Fine-Tuning?Exercise 12: Lerntechniken Exercise 13: Fine-Tuning eines Modells Exercise 14: N-shot Learning

In diesem Kapitel lernst du die grundlegenden Bestandteile des Trainings eines LLM kennen, wie zum Beispiel Pre-Training-Techniken. Du wirst auch ein intuitives Verständnis für komplexe Konzepte wie die Architektur von Transformer gewinnen, einschließlich des Aufmerksamkeitsmechanismus. Das Kapitel behandelt eine fortgeschrittene Fine-Tuning-Technik und fasst den Trainingsprozess zum Abschluss eines LLM zusammen.

Exercise 1: Bestandteile des LLM-Trainings Exercise 2: Maskierte Sprache Exercise 3: Sage das nächste Wort voraus Exercise 4: Von Grund auf aufbauen Exercise 5: Die Einführung des Transformers Exercise 6: Wörter in einer Fernbeziehung Exercise 7: Transformer-Komponenten Exercise 8: Aufmerksamkeitsmechanismen Exercise 9: Fokus der Multi-Head-Attention Exercise 10: Self- vs. Multi-Head Attention Exercise 11: Erweitertes Fine-Tuning Exercise 12: End-to-End-Training Exercise 13: Training, Tuning & Feedback

Aktuelle Übung

Exercise 14: Ein LLM aufbauen

In diesem Kapitel befassen wir uns mit den wichtigsten Überlegungen beim Training eines LLMs wie z. B. der Verfügbarkeit großer Datenmengen, der Datenqualität, der genauen Kennzeichnung und den Auswirkungen von verzerrten Daten. Ebenso wirst du verschiedene LLM-Risiken wie Datenschutz, ethische Bedenken und Umweltauswirkungen erkunden. Das Kapitel schließt mit einer Diskussion über neue Forschungsbereiche und die sich entwickelnde Landschaft von LLMs ab.

Exercise 1: Bedenken und Überlegungen zu Daten Exercise 2: Ist dein Modell fair?Exercise 3: Was ist ursächlich?Exercise 4: Kundendienst einer Bank Exercise 5: Ethische und ökologische Bedenken Exercise 6: Verantwortungsvoller Einsatz Exercise 7: Ethik und Umwelt Exercise 8: Wohin geht die Reise für LLMs?Exercise 9: Kreativität vs. Effizienz Exercise 10: Literarische Werke analysieren Exercise 11: Zeit für eine Zusammenfassung