Aufbau eines LLM

Der Aufbau eines LLM umfasst viele Schritte. Da LLMs immer beliebter werden, hat dich dein Unternehmen als Data-Evangelist gebeten, auf der nächsten Firmenkonferenz einen Vortrag zu halten und ein grundlegendes Verständnis davon zu vermitteln, was nötig ist, um diese Modelle zu entwickeln. Dazu musst du dich an die verschiedenen Techniken erinnern, mit denen ein erfolgreiches Modell erstellt wird.

Erkunde mithilfe der interaktiven Anwendung die einzelnen Phasen des LLM-Aufbaus.

In welcher Phase des Entwicklungsprozesses verwendest du Wort-Embeddings?

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Geringe SchwierigkeitSchwierigkeitsgrad

4.8+

10212 reviews

Kurs kostenlos starten

Die KI-Landschaft entwickelt sich schnell weiter, und große Sprachmodelle (LLMs) sind das prominenteste Beispiel dafür. In diesem Kapitel wird untersucht, wie LLMs die Entwicklung von menschenähnlicher künstlicher Intelligenz vorantreiben und durch ihre zahlreichen Anwendungen ganze Branchen verändern. Du wirst die Herausforderungen und die Komplexität erkunden, die mit der Sprachmodellierung verbunden sind.

Exercise 1: Der Aufstieg von LLMs in der KI-Landschaft Exercise 2: Definition eines LLM Exercise 3: LLMs in der KI-Landschaft Exercise 4: KI vs. LLM-Anwendungen Exercise 5: Praxisanwendungen Exercise 6: Geschäftliche Anwendungen Exercise 7: Multimodale Anwendungen Exercise 8: Automatisierung datengesteuerter Aufgaben Exercise 9: Herausforderungen der Sprachmodellierung Exercise 10: Was kann ein Sprachmodell leisten?Exercise 11: Single- vs. Multi-Task-Lernen

Dieses Kapitel zeigt das Neuartige an LLMs und welche Fähigkeiten sie haben, und erklärt verschiedene NLP-Techniken für die Datenvorbereitung. Du lernst die Herausforderungen beim Training von LLMs kennen und erfährst, wie man sie mit Fine-Tuning effektiv angehen kann. Du wirst auch verstehen, wie N-Shot-Lerntechniken eine effiziente Anpassung von vortrainierten Modellen ermöglichen, wenn sie mit nicht vollständig gekennzeichneten Daten konfrontiert werden.

Exercise 1: Neuartigkeit von LLMs Exercise 2: Problemlösung mit LLMs Exercise 3: Traditionelle Modelle vs. LLMs Exercise 4: Allgemeiner Überblick über NLP Exercise 5: Datenaufbereitung Exercise 6: Textvorverarbeitung und -repräsentation Exercise 7: Worteinbettungen anstatt Bag-of-Words Exercise 8: Fine-Tuning Exercise 9: Herausforderungen beim Aufbau von LLMs Exercise 10: Ein vorab trainiertes Modell anpassen Exercise 11: Pre-Training oder Fine-Tuning?Exercise 12: Lerntechniken Exercise 13: Fine-Tuning eines Modells Exercise 14: N-Shot-Lernen

In diesem Kapitel lernst du die grundlegenden Bestandteile des Trainings eines LLM kennen, wie zum Beispiel Pre-Training-Techniken. Du wirst auch ein intuitives Verständnis für komplexe Konzepte wie die Architektur von Transformer gewinnen, einschließlich des Aufmerksamkeitsmechanismus. Das Kapitel behandelt eine fortgeschrittene Fine-Tuning-Technik und fasst den Trainingsprozess zum Abschluss eines LLM zusammen.

Exercise 1: Bestandteile des LLM-Trainings Exercise 2: Maskierte Sprache Exercise 3: Vorhersage des nächsten Wortes Exercise 4: Von Grund auf neu erstellen Exercise 5: Die Einführung des Transformers Exercise 6: Wörter in einer Fernbeziehung Exercise 7: Transformer-Komponenten Exercise 8: Aufmerksamkeitsmechanismen Exercise 9: Fokus der Multi-Head-Attention Exercise 10: Self- vs. Multi-Head Attention Exercise 11: Erweitertes Fine-Tuning Exercise 12: Training vom Anfang bis zum Ende Exercise 13: Training, Tuning & Feedback Exercise 14: Aufbau eines LLM

Aktuelle Übung

In diesem Kapitel befassen wir uns mit den wichtigsten Überlegungen beim Training eines LLMs wie z. B. der Verfügbarkeit großer Datenmengen, der Datenqualität, der genauen Kennzeichnung und den Auswirkungen von verzerrten Daten. Ebenso wirst du verschiedene LLM-Risiken wie Datenschutz, ethische Bedenken und Umweltauswirkungen erkunden. Das Kapitel schließt mit einer Diskussion über neue Forschungsbereiche und die sich entwickelnde Landschaft von LLMs ab.

Exercise 1: Bedenken und Überlegungen zu Daten Exercise 2: Ist dein Modell fair?Exercise 3: Was ist ursächlich?Exercise 4: Kundenservice einer Bank Exercise 5: Ethische und ökologische Bedenken Exercise 6: Verantwortungsvolle Nutzung Exercise 7: Ethik und Umwelt Exercise 8: Wohin geht die Reise für LLMs?Exercise 9: Kreativität vs. Effizienz Exercise 10: Literarische Werke analysieren Exercise 11: Zeit für eine Zusammenfassung