Diese Übung ist Teil des Kurses
Die KI-Landschaft entwickelt sich rasant weiter, und Large Language Models (LLMs) stehen an der Spitze dieser Entwicklung. In diesem Kapitel wird untersucht, wie LLMs die Entwicklung von menschenähnlicher künstlicher Intelligenz vorantreibt und durch ihre zahlreichen Anwendungen die Industrie verändert. Du wirst die Herausforderungen und die Komplexität erkunden, die mit der Sprachmodellierung verbunden sind.
In diesem Kapitel werden die Neuartigkeit von LLMs und ihre neuen Fähigkeiten hervorgehoben und verschiedene NLP-Techniken zur Datenaufbereitung beschrieben. Du erfährst, welche Herausforderungen das Training von LLMs mit sich bringt und wie du sie durch Finetuning effektiv angehen kannst. Du wirst auch verstehen, wie N-Shot-Lerntechniken eine effiziente Anpassung von vortrainierten Modellen ermöglichen, wenn sie mit begrenzten gelabelten Daten konfrontiert sind.
Aktuelle Übung
In diesem Kapitel lernst du die grundlegenden Bausteine des Trainings eines LLM kennen, wie z. B. die Techniken des Pre-Trainings. Du wirst auch ein intuitives Verständnis für komplexe Konzepte wie die Architektur von Transformatoren gewinnen, einschließlich des Aufmerksamkeitsmechanismus. Das Kapitel behandelt eine fortgeschrittene Finetuning-Technik und fasst den Trainingsprozess zum Abschluss eines LLM zusammen.
In diesem Kapitel befassen wir uns mit den wichtigsten Überlegungen beim Training eines LLM wie z. B. der Verfügbarkeit großer Datenmengen, der Datenqualität, der genauen Kennzeichnung und den Auswirkungen von verzerrten Daten. Du wirst auch verschiedene LLM-Risiken wie Datenschutz, ethische Bedenken und Umweltauswirkungen untersuchen. Das Kapitel schließt mit einer Diskussion über neue Forschungsbereiche und die sich entwickelnde Landschaft von LLMs ab.