Vorhersage des nächsten Wortes

Du hast daran gearbeitet, ein LLM mithilfe der Vorhersage des nächsten Wortes zu trainieren. Du hast dem Modell die folgenden Trainingsdaten bereitgestellt, damit es den Text lernt.

Verwende die interaktive Anwendung, um die Sequenz Schritt für Schritt durchzugehen und zu sehen, wie das Modell seine Vorhersage Wort für Wort aufbaut – zusammen mit der Wahrscheinlichkeit für jede mögliche Fortsetzung.

Welches Wort bzw. welche Wörter würden als Nächstes korrekt vorhergesagt?

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten

Diese Übung ist Teil des Kurses

<Kurs>Konzepte großer Sprachmodelle (LLMs)</Kurs>

Geringe SchwierigkeitSchwierigkeitsgrad

4.8+

10564 reviews

Kurs kostenlos starten

Die KI-Landschaft entwickelt sich schnell weiter, und große Sprachmodelle (LLMs) sind das prominenteste Beispiel dafür. In diesem Kapitel wird untersucht, wie LLMs die Entwicklung von menschenähnlicher künstlicher Intelligenz vorantreiben und durch ihre zahlreichen Anwendungen ganze Branchen verändern. Du wirst die Herausforderungen und die Komplexität erkunden, die mit der Sprachmodellierung verbunden sind.

Exercise 1: Der Aufstieg von LLMs in der KI-Landschaft Exercise 2: Definition eines LLM Exercise 3: LLMs in der KI-Landschaft Exercise 4: KI vs. LLM-Anwendungen Exercise 5: Praxisanwendungen Exercise 6: Geschäftliche Anwendungen Exercise 7: Multimodale Anwendungen Exercise 8: Automatisierung datengesteuerter Aufgaben Exercise 9: Herausforderungen der Sprachmodellierung Exercise 10: Was kann ein Sprachmodell leisten?Exercise 11: Single- vs. Multi-Task-Lernen

Dieses Kapitel zeigt das Neuartige an LLMs und welche Fähigkeiten sie haben, und erklärt verschiedene NLP-Techniken für die Datenvorbereitung. Du lernst die Herausforderungen beim Training von LLMs kennen und erfährst, wie man sie mit Fine-Tuning effektiv angehen kann. Du wirst auch verstehen, wie N-Shot-Lerntechniken eine effiziente Anpassung von vortrainierten Modellen ermöglichen, wenn sie mit nicht vollständig gekennzeichneten Daten konfrontiert werden.

Exercise 1: Neuartigkeit von LLMs Exercise 2: Problemlösung mit LLMs Exercise 3: Traditionelle Modelle vs. LLMs Exercise 4: Allgemeiner Überblick über NLP Exercise 5: Datenaufbereitung Exercise 6: Textvorverarbeitung und -repräsentation Exercise 7: Worteinbettungen anstatt Bag-of-Words Exercise 8: Fine-Tuning Exercise 9: Herausforderungen beim Aufbau von LLMs Exercise 10: Ein vorab trainiertes Modell anpassen Exercise 11: Pre-Training oder Fine-Tuning?Exercise 12: Lerntechniken Exercise 13: Fine-Tuning eines Modells Exercise 14: N-Shot-Lernen

In diesem Kapitel lernst du die grundlegenden Bestandteile des Trainings eines LLM kennen, wie zum Beispiel Pre-Training-Techniken. Du wirst auch ein intuitives Verständnis für komplexe Konzepte wie die Architektur von Transformer gewinnen, einschließlich des Aufmerksamkeitsmechanismus. Das Kapitel behandelt eine fortgeschrittene Fine-Tuning-Technik und fasst den Trainingsprozess zum Abschluss eines LLM zusammen.

Exercise 1: Bestandteile des LLM-Trainings Exercise 2: Maskierte Sprache Exercise 3: Vorhersage des nächsten Wortes

Aktuelle Übung

Exercise 4: Von Grund auf neu erstellen Exercise 5: Die Einführung des Transformers Exercise 6: Wörter in einer Fernbeziehung Exercise 7: Transformer-Komponenten Exercise 8: Aufmerksamkeitsmechanismen Exercise 9: Fokus der Multi-Head-Attention Exercise 10: Self- vs. Multi-Head Attention Exercise 11: Erweitertes Fine-Tuning Exercise 12: Training vom Anfang bis zum Ende Exercise 13: Training, Tuning & Feedback Exercise 14: Aufbau eines LLM

In diesem Kapitel befassen wir uns mit den wichtigsten Überlegungen beim Training eines LLMs wie z. B. der Verfügbarkeit großer Datenmengen, der Datenqualität, der genauen Kennzeichnung und den Auswirkungen von verzerrten Daten. Ebenso wirst du verschiedene LLM-Risiken wie Datenschutz, ethische Bedenken und Umweltauswirkungen erkunden. Das Kapitel schließt mit einer Diskussion über neue Forschungsbereiche und die sich entwickelnde Landschaft von LLMs ab.

Exercise 1: Bedenken und Überlegungen zu Daten Exercise 2: Ist dein Modell fair?Exercise 3: Was ist ursächlich?Exercise 4: Kundenservice einer Bank Exercise 5: Ethische und ökologische Bedenken Exercise 6: Verantwortungsvolle Nutzung Exercise 7: Ethik und Umwelt Exercise 8: Wohin geht die Reise für LLMs?Exercise 9: Kreativität vs. Effizienz Exercise 10: Literarische Werke analysieren Exercise 11: Zeit für eine Zusammenfassung