Ontdek waar de populairste deep learning-architectuur in AI op draait! Leer over de onderdelen waaruit transformermodellen bestaan, inclusief de beroemde self-attention-mechanismen uit het bekende paper "Attention is All You Need."

Transformers met PyTorch

De Transformer ontrafeld

PyTorch Transformers

Embedding en positionele codering

Invoer-embeddings maken

Positionele encodings maken

Multi-head self-attention

Multi-head attention implementeren

De MultiHeadAttentionClass starten

Methoden toevoegen aan de klasse MultiHeadAttention

De bouwstenen van transformermodellen

Ontwerp transformer-encoder- en decoderblokken, en combineer ze met positionele codering, multi-head attention en position-wise feed-forward-netwerken om je eigen transformer-architecturen te bouwen. Onderweg krijg je een diep begrip en waardering voor hoe transformers onder de motorkap werken.

Encoder-transformers

Feed-forward sublayers

De encoder-transformerlaag

De body van de encodertransformer

De transformer-head toevoegen

Decoder-transformers

Een mask maken voor self-attention

De decoderlaag

De decoder-transformer afronden

Encoder-decoder-transformers

Cross-attention toevoegen aan de decoderlaag

De encoder-decodertransformer construeren

Gefeliciteerd!

Transformer-architecturen bouwen

Duik dieper in LLM's en ontdek hoe de transformer-architectuur deep learning heeft veranderd en de generatieve AI-hausse mogelijk heeft gemaakt! In deze cursus bouw je stap voor stap je eigen transformer-architectuur, component voor component. Je leert hoe je tokenposities codeert, aandachtmechanismen berekent en modulaire transformer-onderdelen bouwt, zodat je meer controle krijgt over de interne werking van je transformer. Ga vandaag nog van zero naar LLM-held!

<h2>Duik diep in de Transformer-architectuur</h2>
Transformatiemodellen hebben tekstmodellering echt veranderd en hebben de generatieve AI-boom op gang gebracht door de huidige grote taalmodellen (LLM's) mogelijk te maken. In deze cursus ga je kijken naar de belangrijkste onderdelen van deze architectuur, zoals positionele codering, aandachtsmechanismen en feed-forward-sublagen. Je gaat deze onderdelen op een modulaire manier programmeren om stap voor stap je eigen transformator te bouwen.<br><br><h2>Implementeren van aandachtsmechanismen met PyTorch</h2>
Het aandachtsmechanisme is echt belangrijk geweest voor het vormgeven van de transformatorarchitectuur. Door zelfaandacht kunnen transformatoren de verbanden tussen tokens beter zien, wat de kwaliteit van de gegenereerde tekst verbetert. Leer hoe je een multi-head attention mechanism-klasse kunt maken die een belangrijke bouwsteen vormt in je transformatiemodellen.<br><br><h2>Bouw je eigen transformatormodellen</h2>
Leer hoe je modellen kunt maken met alleen een encoder, alleen een decoder en een encoder-decoder-transformator. Leer hoe je deze verschillende transformatorarchitecturen kunt kiezen en coderen voor verschillende taaltaken, zoals tekstclassificatie en sentimentanalyse, tekstgeneratie en -aanvulling, en sequentie-naar-sequentievertaling.

Deep Learning for Text with PyTorch

Wat drijft LLM's? Ontdek hoe transformers tekstmodellering vernieuwden en de AI-revolutie startten.

Transformermodels met PyTorch

Wat maakt LLMs zo bijzonder? Ontdek hoe transformers tekstmodellering hebben veranderd en de generatieve AI-boom hebben gestart.

Deep learning in Python

Grote taalmodellen ontwikkelen

Een mask maken voor self-attention

Transformermodels met PyTorch

Oefeninstructies

Interactieve oefening met praktijkervaring