Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformers met PyTorch

De Transformer ontrafeld

PyTorch Transformers

Embedding en positionele codering

Invoer-embeddings maken

Positionele encodings maken

Multi-head self-attention

Multi-head attention implementeren

De MultiHeadAttentionClass starten

Methoden toevoegen aan de klasse MultiHeadAttention

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Encoder transformers

Feed-forward sublayers

The encoder transformer layer

The encoder transformer body

Adding the transformer head

Decoder transformers

Designing a mask for self-attention

The decoder layer

Completing the decoder transformer

Encoder-decoder transformers

Adding cross-attention to the decoder layer

Constructing the encoder-decoder transformer

Congratulations!

Building Transformer Architectures

Duik dieper in LLM's en ontdek hoe de transformer-architectuur deep learning heeft veranderd en de generatieve AI-hausse mogelijk heeft gemaakt! In deze cursus bouw je stap voor stap je eigen transformer-architectuur, component voor component. Je leert hoe je tokenposities codeert, aandachtmechanismen berekent en modulaire transformer-onderdelen bouwt, zodat je meer controle krijgt over de interne werking van je transformer. Ga vandaag nog van zero naar LLM-held!

<h2>Duik diep in de Transformer-architectuur</h2>
Transformatiemodellen hebben tekstmodellering echt veranderd en hebben de generatieve AI-boom op gang gebracht door de huidige grote taalmodellen (LLM's) mogelijk te maken. In deze cursus ga je kijken naar de belangrijkste onderdelen van deze architectuur, zoals positionele codering, aandachtsmechanismen en feed-forward-sublagen. Je gaat deze onderdelen op een modulaire manier programmeren om stap voor stap je eigen transformator te bouwen.<br><br><h2>Implementeren van aandachtsmechanismen met PyTorch</h2>
Het aandachtsmechanisme is echt belangrijk geweest voor het vormgeven van de transformatorarchitectuur. Door zelfaandacht kunnen transformatoren de verbanden tussen tokens beter zien, wat de kwaliteit van de gegenereerde tekst verbetert. Leer hoe je een multi-head attention mechanism-klasse kunt maken die een belangrijke bouwsteen vormt in je transformatiemodellen.<br><br><h2>Bouw je eigen transformatormodellen</h2>
Leer hoe je modellen kunt maken met alleen een encoder, alleen een decoder en een encoder-decoder-transformator. Leer hoe je deze verschillende transformatorarchitecturen kunt kiezen en coderen voor verschillende taaltaken, zoals tekstclassificatie en sentimentanalyse, tekstgeneratie en -aanvulling, en sequentie-naar-sequentievertaling.

Deep Learning for Text with PyTorch

Wat drijft LLM's? Ontdek hoe transformers tekstmodellering vernieuwden en de AI-revolutie startten.

Transformermodels met PyTorch

Wat maakt LLMs zo bijzonder? Ontdek hoe transformers tekstmodellering hebben veranderd en de generatieve AI-boom hebben gestart.

Deep learning in Python

Grote taalmodellen ontwikkelen

Multi-head attention implementeren

Transformermodels met PyTorch

Oefeninstructies

Praktische interactieve oefening