Self Attention ou Multi Head Attention

Vous occupez le poste de data scientist au sein d'une équipe de développement en intelligence artificielle. Votre projet actuel consiste à comprendre et à mettre en œuvre les concepts de Self Attention et de Multi Head Attention dans un modèle de langage. Examinez les phrases suivantes issues d'un ensemble de données de conversations.

A : « Le jeune homme s'est rendu au magasin pour acheter des provisions. »

B : « Il était vraiment enthousiaste à l'idée d'obtenir ses céréales préférées. »

C : « J'ai remarqué qu'il gesticulait beaucoup lorsqu'il en parlait. »

Déterminez si ces expressions seraient mieux analysées en se concentrant sur les relations au sein des données d'entrée (Self Attention) ou en prêtant attention à plusieurs aspects des données d'entrée simultanément (Multi Head Attention).

Cet exercice fait partie du cours

Concepts des grands modèles de langage (LLM)

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

Concepts des grands modèles de langage (LLM)

DébutantNiveau de compétence

4.8+

Commencer le cours gratuitement

Le paysage de l'IA évolue rapidement, et les grands modèles de langage (LLM) sont à l'avant-garde de cette évolution. Dans ce chapitre, nous allons voir comment les LLM contribuent au développement de l'intelligence artificielle de type humain et transforment les secteurs grâce à leurs nombreuses applications. Vous explorerez les défis et la complexité associés à la modélisation linguistique.

Exercise 1: L'essor des LLM dans le paysage de l'IA Exercise 2: Définition d'un LLM Exercise 3: Les LLM dans le paysage de l'IA Exercise 4: IA et applications LLM Exercise 5: Applications dans le monde réel Exercise 6: Applications métier Exercise 7: Applications multimodales Exercise 8: Automatiser les tâches basées sur les données Exercise 9: Les défis de la modélisation linguistique Exercise 10: Que peut accomplir un modèle de langage ?Exercise 11: Apprentissage monotâche ou multitâche

Ce chapitre explore les LLM sous l’angle de leurs avancées récentes et de leurs capacités émergentes, tout en passant en revue plusieurs techniques de traitement automatique du langage pour préparer efficacement les données. Vous découvrirez les défis liés à l’entraînement des LLM et comment la technique de l’affinage peut les relever efficacement. Vous comprendrez également comment les techniques d'apprentissage N-shot permettent une adaptation efficace des modèles pré-entraînés lorsque les données étiquetées sont limitées.

Exercise 1: Nouveauté des LLM Exercise 2: Résolution de problèmes avec les LLM Exercise 3: Modèles traditionnels par opposition aux LLM Exercise 4: Présentation du traitement du langage naturel Exercise 5: Préparation des données Exercise 6: Prétraitement et représentation du texte Exercise 7: Plongements lexicaux et sac de mots Exercise 8: Affinage Exercise 9: Difficultés rencontrées dans la création de modèles de langage à grande échelle Exercise 10: Adapter un modèle pré-entraîné Exercise 11: Pré-entraîné ou affiné ?Exercise 12: Techniques d'apprentissage Exercise 13: Affiner un modèle Exercise 14: Apprentissage N-shot

Dans ce chapitre, vous découvrirez les éléments fondamentaux de l'entraînement d'un LLM, tels que les techniques de pré-entraînement. Vous acquerrez également une compréhension intuitive de concepts complexes tels que l'architecture des Transformers, y compris le mécanisme d'attention. Ce chapitre traite d'une technique avancée d’affinage et résume le processus d’entraînement nécessaire pour obtenir un LLM.

Exercise 1: Éléments constitutifs pour entraîner des LLM Exercise 2: Langage masqué Exercise 3: Prédire le mot suivant Exercise 4: Créer à partir de zéro Exercise 5: Présentation du Transformer Exercise 6: Relations entre des mots éloignés Exercise 7: Composants du Transformer Exercise 8: Mécanismes d'attention Exercise 9: Le point sur le Multi Head Attention Exercise 10: Self Attention ou Multi Head Attention

Exercice en cours

Exercise 11: Affinage avancé Exercise 12: Entraînement complet Exercise 13: Entraînement, affinage et rétroaction Exercise 14: Construire un LLM

Dans ce chapitre, nous examinons les considérations essentielles à prendre en compte lors de l’entraînement des LLM, telles que la disponibilité de données volumineuses, la qualité des données, l'étiquetage précis et les implications des données biaisées. Vous examinerez également divers risques liés au LLM, tels que la confidentialité des données, les questions éthiques et l'impact environnemental. Enfin, le chapitre se terminera par une discussion sur les nouveaux domaines de recherche et l'évolution du paysage des LLM.

Exercise 1: Préoccupations et considérations relatives aux données Exercise 2: Votre modèle est-il équitable ?Exercise 3: Impartial et pertinent Exercise 4: Service à la clientèle d'une banque Exercise 5: Préoccupations éthiques et environnementales Exercise 6: Utilisation responsable Exercise 7: Éthique et environnement Exercise 8: Quelle est la direction prise par les LLM ?Exercise 9: Créativité et efficacité Exercise 10: Analyser des œuvres littéraires Exercise 11: Il est temps de conclure.