Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformers with PyTorch

Breaking down the Transformer

PyTorch Transformers

Embedding and positional encoding

Creating input embeddings

Creating positional encodings

Multi-head self-attention

Implementing multi-head attention

Starting the MultiHeadAttentionClass

Adding methods to the MultiHeadAttention class

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Encoder-transformers

Feed-forward sublayers

De encoder-transformerlaag

De body van de encodertransformer

De transformer-head toevoegen

Decoder-transformers

Een mask maken voor self-attention

De decoderlaag

De decoder-transformer afronden

Encoder-decoder-transformers

Cross-attention toevoegen aan de decoderlaag

De encoder-decodertransformer construeren

Gefeliciteerd!

Building Transformer Architectures

Duik dieper in LLM's en ontdek hoe de transformer-architectuur deep learning heeft veranderd en de generatieve AI-hausse mogelijk heeft gemaakt! In deze cursus bouw je stap voor stap je eigen transformer-architectuur, component voor component. Je leert hoe je tokenposities codeert, aandachtmechanismen berekent en modulaire transformer-onderdelen bouwt, zodat je meer controle krijgt over de interne werking van je transformer. Ga vandaag nog van zero naar LLM-held!

<h2>Duik diep in de Transformer-architectuur</h2>
Transformatiemodellen hebben tekstmodellering echt veranderd en hebben de generatieve AI-boom op gang gebracht door de huidige grote taalmodellen (LLM's) mogelijk te maken. In deze cursus ga je kijken naar de belangrijkste onderdelen van deze architectuur, zoals positionele codering, aandachtsmechanismen en feed-forward-sublagen. Je gaat deze onderdelen op een modulaire manier programmeren om stap voor stap je eigen transformator te bouwen.<br><br><h2>Implementeren van aandachtsmechanismen met PyTorch</h2>
Het aandachtsmechanisme is echt belangrijk geweest voor het vormgeven van de transformatorarchitectuur. Door zelfaandacht kunnen transformatoren de verbanden tussen tokens beter zien, wat de kwaliteit van de gegenereerde tekst verbetert. Leer hoe je een multi-head attention mechanism-klasse kunt maken die een belangrijke bouwsteen vormt in je transformatiemodellen.<br><br><h2>Bouw je eigen transformatormodellen</h2>
Leer hoe je modellen kunt maken met alleen een encoder, alleen een decoder en een encoder-decoder-transformator. Leer hoe je deze verschillende transformatorarchitecturen kunt kiezen en coderen voor verschillende taaltaken, zoals tekstclassificatie en sentimentanalyse, tekstgeneratie en -aanvulling, en sequentie-naar-sequentievertaling.

Deep Learning for Text with PyTorch

Wat drijft LLM's? Ontdek hoe transformers tekstmodellering vernieuwden en de AI-revolutie startten.

Transformermodels met PyTorch

Wat maakt LLMs zo bijzonder? Ontdek hoe transformers tekstmodellering hebben veranderd en de generatieve AI-boom hebben gestart.

Deep learning in Python

Grote taalmodellen ontwikkelen

Een mask maken voor self-attention

Transformermodels met PyTorch

Oefeninstructies

Praktische interactieve oefening