Finde heraus, was die angesagteste Deep-Learning-Architektur in der KI so leistungsfähig macht! Lerne die Komponenten kennen, aus denen Transformer-Modelle bestehen, darunter die berühmten Self-Attention-Mechanismen aus dem renommierten Paper "Attention is All You Need".

Transformer mit PyTorch

Den Transformer zerlegen

PyTorch-Transformer

Embedding und Positionskodierung

Eingabe-Embeddings erstellen

Positionale Encodings erstellen

Multi-Head Self-Attention

Multi-Head Attention implementieren

Die MultiHeadAttentionClass starten

Methoden zur Klasse MultiHeadAttention hinzufügen

Die Bausteine von Transformer-Modellen

Entwirf Transformer-Encoder- und -Decoder-Blöcke und kombiniere sie mit positional encoding, multi-headed attention und position-wise feed-forward networks, um deine ganz eigenen Transformer-Architekturen zu bauen. Dabei entwickelst du ein tiefes Verständnis und eine echte Wertschätzung dafür, wie Transformer unter der Haube funktionieren.

Encoder-Transformer

Feedforward-Teilschichten

Die Encoder-Transformer-Schicht

Der Encoder-Transformer-Body

Den Transformer-Head hinzufügen

Decoder-Transformer

Eine Maske für Self-Attention entwerfen

Die Decoder-Schicht

Den Decoder-Transformer vervollständigen

Encoder-Decoder-Transformer

Cross-Attention zur Decoder-Schicht hinzufügen

Den Encoder-Decoder-Transformer konstruieren

Glückwunsch!

Transformer-Architekturen aufbauen

Tauche tiefer in LLMs ein und entdecke, wie die Transformer-Architektur das Deep Learning revolutioniert und den Generative-AI-Boom möglich gemacht hat! In diesem Kurs lernst du, deine eigene Transformer-Architektur von Grund auf zu erstellen – Baustein für Baustein. Du erfährst, wie man Token-Positionen encodiert, Berechnungen für den Attention-Mechanismus durchführt und modulare Transformer-Komponenten aufbaut, um noch mehr Kontrolle über das Innenleben deines Transformers zu bekommen. Starte heute durch – vom Nullwissen zum LLM-Profi!

<h2>Tief eintauchen in die Transformer-Architektur</h2>
Transformer-Modelle haben die Textmodellierung revolutioniert und den Boom der generativen KI ausgelöst, indem sie die heutigen Large Language Models (LLMs) ermöglicht haben. In diesem Kurs betrachten Sie die zentralen Komponenten dieser Architektur, darunter Positionskodierung, Aufmerksamkeitsmechanismen und Feed-Forward-Teilschichten. Du wirst diese Komponenten modular programmieren, um deinen eigenen Transformer Schritt für Schritt aufzubauen.<br><br><h2>Implementieren Sie Aufmerksamkeitsmechanismen mit PyTorch</h2>
Der Attention-Mechanismus ist eine zentrale Entwicklung, die dazu beigetragen hat, die Transformer-Architektur zu formalisieren. Self-Attention ermöglicht es Transformern, Beziehungen zwischen Tokens besser zu erkennen, wodurch die Qualität des generierten Textes verbessert wird. Lernen Sie, wie Sie eine Multi-Head-Attention-Mechanismus-Klasse erstellen, die zu einem zentralen Baustein Ihrer Transformer-Modelle wird.<br><br><h2>Entwickeln Sie Ihre eigenen Transformer-Modelle</h2>
Lernen Sie, Encoder-only-, Decoder-only- und Encoder-Decoder-Transformer-Modelle zu erstellen. Lernen Sie, wie Sie diese verschiedenen Transformer-Architekturen für unterschiedliche Sprachaufgaben auswählen und programmieren, darunter Textklassifizierung und Sentimentanalyse, Textgenerierung und -vervollständigung sowie Sequenz-zu-Sequenz-Übersetzung.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Was treibt LLMs an? Entdecken Sie, wie Transformer die Textmodellierung revolutionierten.

Transformer-Modelle mit PyTorch

Was macht LLMs aus? Entdecke, wie Transformer die Textmodellierung revolutionierten und den Generative-AI-Boom auslösten.

Deep Learning in Python

Entwicklung von großen Sprachmodellen

Eine Maske für Self-Attention entwerfen

Übungsanweisungen

Interaktive praktische Übung