Découvrez ce qui fait battre le cœur de l’architecture de deep learning la plus en vue en IA ! Apprenez les composants qui constituent les modèles Transformer, y compris les célèbres mécanismes d’auto-attention décrits dans l’article de référence « Attention is All You Need ».

Transformers avec PyTorch

Décomposer le Transformer

Transformers PyTorch

Encodage des embeddings et positionnel

Créer les embeddings d’entrée

Créer des encodages positionnels

Auto-attention multi-tête

Implémenter l’attention multi-têtes

Commencer la classe MultiHeadAttentionClass

Ajout de méthodes à la classe MultiHeadAttention

Les briques des modèles Transformer

Concevez des blocs encodeur et décodeur, et combinez-les avec l’encodage positionnel, l’attention multi-têtes et les réseaux feed-forward positionnels pour construire vos propres architectures Transformer. Au passage, vous développerez une compréhension fine et une vraie appréciation du fonctionnement interne des transformers.

Transformers encodeurs

Sous-couches feed-forward

La couche d’encodeur du transformer

Le corps du transformeur encodeur

Ajout de la tête du transformer

Transformers décodeurs

Concevoir un masque pour l’auto-attention

La couche de décodeur

Compléter le transformer décodeur

Transformers encodeur-décodeur

Ajouter la cross-attention à la couche de décodeur

Construire le transformeur encodeur-décodeur

Félicitations !

Construire des architectures Transformer

Plongez au cœur des LLM et découvrez comment l’architecture Transformer a révolutionné le deep learning et propulsé l’essor de l’IA générative ! Dans ce cours, vous apprendrez à créer votre propre architecture Transformer de A à Z, composant par composant. Vous verrez comment encoder la position des tokens, effectuer les calculs du mécanisme d’attention, et construire des composants Transformer modulaires pour mieux contrôler le fonctionnement interne de votre modèle. Passez de débutant à expert des LLM dès aujourd’hui !

<h2>Approfondissez vos connaissances sur l'architecture Transformer</h2>
Les modèles de transformateurs ont révolutionné la modélisation de texte, déclenchant l'essor de l'IA générative en rendant possibles les grands modèles linguistiques (LLM) actuels. Dans ce cours, vous étudierez les composants clés de cette architecture, notamment le codage positionnel, les mécanismes d'attention et les sous-couches feed-forward. Vous coderez ces composants de manière modulaire afin de construire votre propre transformateur étape par étape.<br><br><h2>Mettre en œuvre des mécanismes d'attention avec PyTorch</h2>
Le mécanisme d'attention est une avancée majeure qui a contribué à formaliser l'architecture du transformateur. L'auto-attention permet aux transformateurs de mieux identifier les relations entre les tokens, ce qui améliore la qualité du texte généré. Découvrez comment créer une classe de mécanisme d'attention multi-têtes qui constituera un élément clé de vos modèles de transformateurs.<br><br><h2>Construisez vos propres modèles de transformateurs</h2>
Apprenez à créer des modèles de transformateurs encodeurs uniquement, décodeurs uniquement et encodeurs-décodeurs. Découvrez comment sélectionner et coder ces différentes architectures de transformateurs pour diverses tâches linguistiques, notamment la classification de texte et l'analyse des sentiments, la génération et la complétion de texte, ainsi que la traduction séquence-à-séquence.

Deep Learning for Text with PyTorch

Comment les LLM fonctionnent-ils ? Découvrez comment les transformateurs ont révolutionné l'IA générative.

Modèles Transformer avec PyTorch

Qu'est-ce qui caractérise les LLM ? Comment les transformateurs ont révolutionné la modélisation de texte et propulsé l'IA générative.

Apprentissage profond en Python

Développer des LLM

Concevoir un masque pour l’auto-attention

Instructions de l’exercice

Exercice interactif pratique