Découvrez ce qui fait la force de l'architecture de deep learning la plus en vue en IA! Apprenez les composants qui constituent les modèles Transformer, y compris les célèbres mécanismes d'auto‑attention décrits dans l'article de référence « Attention Is All You Need ».

Transformers avec PyTorch

Décortiquer le Transformer

Transformers PyTorch

Encodage par plongement et encodage positionnel

Créer les intégrations d'entrée

Créer des encodages positionnels

Autoattention multi-tête

Implémenter l'attention multi-tête

Démarrer la classe MultiHeadAttentionClass

Ajout de méthodes à la classe MultiHeadAttention

Les blocs de base des modèles Transformer

Concevez des blocs d'encodeur et de décodeur Transformer, et combinez‑les avec l'encodage positionnel, l'attention multi‑têtes et des réseaux de neurones positionnels à propagation avant pour bâtir vos propres architectures Transformer. En cours de route, vous développerez une compréhension approfondie et une réelle appréciation du fonctionnement interne des Transformers.

Transformeurs encodeurs

Sous-couches feed-forward

La couche d'encodeur du transformer

Le corps de l'encodeur du transformer

Ajouter la tête du transformeur

Transformers décodeurs

Concevoir un masque pour l'auto-attention

La couche de décodeur

Compléter le transformeur décodeur

Transformeurs encodeur-décodeur

Ajouter l'attention croisée à la couche du décodeur

Construire le transformeur encodeur-décodeur

Félicitations !

Construire des architectures Transformer

Plongez plus profondément dans les LLM et découvrez comment l'architecture Transformer a révolutionné le deep learning et propulsé l'essor de l'IA générative! Dans ce cours, vous apprendrez à créer votre propre architecture Transformer de A à Z, composant par composant. Vous verrez comment coder les positions des jetons, effectuer les calculs du mécanisme d'attention et construire des composants modulaires pour garder un meilleur contrôle sur le fonctionnement interne de votre Transformer. Passez de débutant à pro des LLM dès aujourd'hui!

<h2>Approfondissez l’architecture Transformer</h2>
Les modèles Transformer ont révolutionné la modélisation de texte, lançant l’essor de l’IA générative en permettant les grands modèles de langage (LLM) d’aujourd’hui. Dans ce cours, vous examinerez les éléments clés de cette architecture, notamment l’encodage positionnel, les mécanismes d’attention et les sous-couches feed-forward. Vous coderez ces composants de manière modulaire afin de construire votre propre transformateur étape par étape.<br><br><h2>Implémentez des mécanismes d’attention avec PyTorch</h2>
Le mécanisme d’attention est une avancée clé qui a contribué à formaliser l’architecture Transformer. L’auto-attention permet aux transformers de mieux identifier les relations entre les jetons, ce qui améliore la qualité du texte généré. Apprenez à créer une classe de mécanisme d’attention multi-têtes qui constituera un élément clé de vos modèles transformer.<br><br><h2>Créez vos propres modèles Transformer</h2>
Apprenez à construire des modèles transformeurs à encodeur seul, à décodeur seul et à encodeur-décodeur. Apprenez à choisir et à coder ces différentes architectures de transformeurs pour diverses tâches linguistiques, notamment la classification de texte et l’analyse des sentiments, la génération et la complétion de texte, ainsi que la traduction séquence à séquence.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Qu'est-ce qui fait fonctionner les LLM? Découvrez comment les transformateurs ont révolutionné l'IA.

Modèles Transformer avec PyTorch

Qu’est-ce qui fait fonctionner les LLMs? Découvrez comment les transformers ont révolutionné la modélisation de texte et lancé l’essor de l’IA générative.

Apprentissage profond en Python

Développement de grands modèles de langage

Concevoir un masque pour l'auto-attention

Modèles Transformer avec PyTorch

Instructions de l’exercice

Exercice interactif pratique