Training, Abstimmung & Feedback

Du arbeitest an einem Projekt zur Entwicklung eines Modells, das die Technik des Verstärkungslernens durch menschliches Feedback (RLHF) nutzt, um seine Leistung in einer Kundensupportumgebung zu optimieren.

Welche dieser Optionen beschreibt den RLHF-Prozess am genauesten?

Diese Übung ist Teil des Kurses

Konzepte großer Sprachmodelle (LLMs)

Kurs anzeigen

Interaktive Übung

Setze die Theorie in einer unserer interaktiven Übungen in die Praxis um

Übung starten

Diese Übung ist Teil des Kurses

Konzepte großer Sprachmodelle (LLMs)

Geringe SchwierigkeitSchwierigkeitsgrad

4.8+

2293 reviews

Kurs kostenlos starten

Die KI-Landschaft entwickelt sich rasant weiter, und Large Language Models (LLMs) stehen an der Spitze dieser Entwicklung. In diesem Kapitel wird untersucht, wie LLMs die Entwicklung von menschenähnlicher künstlicher Intelligenz vorantreibt und durch ihre zahlreichen Anwendungen die Industrie verändert. Du wirst die Herausforderungen und die Komplexität erkunden, die mit der Sprachmodellierung verbunden sind.

Exercise 1: Der Aufstieg von LLMs in der KI-Landschaft Exercise 2: Definition eines LLM Exercise 3: LLMs in der KI-Landschaft Exercise 4: KI vs. LLM-Anwendungen Exercise 5: Anwendungen in der realen Welt Exercise 6: Business-Anwendungen Exercise 7: Multimodale Anwendungen Exercise 8: Automatisiere datengesteuerte Aufgaben Exercise 9: Herausforderungen der Sprachmodellierung Exercise 10: Was kann ein Sprachmodell leisten?Exercise 11: Single- vs. Multi-Task-Lernen

In diesem Kapitel werden die Neuartigkeit von LLMs und ihre neuen Fähigkeiten hervorgehoben und verschiedene NLP-Techniken zur Datenaufbereitung beschrieben. Du erfährst, welche Herausforderungen das Training von LLMs mit sich bringt und wie du sie durch Finetuning effektiv angehen kannst. Du wirst auch verstehen, wie N-Shot-Lerntechniken eine effiziente Anpassung von vortrainierten Modellen ermöglichen, wenn sie mit begrenzten gelabelten Daten konfrontiert sind.

Exercise 1: Neuheit von LLMs Exercise 2: Problemlösung mit LLMs Exercise 3: Traditionelle Modelle vs. LLMs Exercise 4: Allgemeiner Überblick über NLP Exercise 5: Daten aufbereiten Exercise 6: Textvorverarbeitung und -darstellung Exercise 7: Word Embeddings über Bag-of-Words Exercise 8: Finetuning Exercise 9: Herausforderungen beim Aufbau von LLMs Exercise 10: Ein vorab trainiertes Modell anpassen Exercise 11: Antrainiert oder fein abgestimmt?Exercise 12: Lerntechniken Exercise 13: Finetuning eines Modells Exercise 14: N-Schuss-Lernen

In diesem Kapitel lernst du die grundlegenden Bausteine des Trainings eines LLM kennen, wie z. B. die Techniken des Pre-Trainings. Du wirst auch ein intuitives Verständnis für komplexe Konzepte wie die Architektur von Transformatoren gewinnen, einschließlich des Aufmerksamkeitsmechanismus. Das Kapitel behandelt eine fortgeschrittene Finetuning-Technik und fasst den Trainingsprozess zum Abschluss eines LLM zusammen.

Exercise 1: Bausteine zum Training von LLMs Exercise 2: Maskierte Sprache Exercise 3: Sage das nächste Wort voraus Exercise 4: Von Grund auf neu bauen Exercise 5: Die Einführung des Transformators Exercise 6: Beziehungen zwischen entfernten Wörtern Exercise 7: Transformator-Komponenten Exercise 8: Aufmerksamkeitsmechanismen Exercise 9: Fokus der Multi-Head-Attention Exercise 10: Self- vs. Multi-Head-Attention Exercise 11: Erweitertes Finetuning Exercise 12: End-to-End-Training Exercise 13: Training, Abstimmung & Feedback

Aktuelle Übung

Exercise 14: Aufbau eines LLM

In diesem Kapitel befassen wir uns mit den wichtigsten Überlegungen beim Training eines LLM wie z. B. der Verfügbarkeit großer Datenmengen, der Datenqualität, der genauen Kennzeichnung und den Auswirkungen von verzerrten Daten. Du wirst auch verschiedene LLM-Risiken wie Datenschutz, ethische Bedenken und Umweltauswirkungen untersuchen. Das Kapitel schließt mit einer Diskussion über neue Forschungsbereiche und die sich entwickelnde Landschaft von LLMs ab.

Exercise 1: Bedenken und Überlegungen zu Daten Exercise 2: Ist dein Modell fair?Exercise 3: Unvoreingenommen und relevant Exercise 4: Kundenservice einer Bank Exercise 5: Ethische und ökologische Bedenken Exercise 6: Verantwortungsvolle Nutzung Exercise 7: Ethik und Umwelt Exercise 8: Wohin geht es für LLMs?Exercise 9: Kreativität vs. Effizienz Exercise 10: Literarische Werke analysieren Exercise 11: Zeit zum Abschluss