Auto-attention vs. attention multi-têtes

Vous êtes analyste de données dans une équipe de développement en IA. Votre projet actuel consiste à comprendre et à mettre en œuvre les notions d'auto-attention et d'attention multi-têtes dans un modèle de langage. Examinez les phrases suivantes tirées d'un jeu de données de conversations.

Utilisez l'application interactive pour explorer la différence entre l'auto-attention (relations entre des mots précis dans le texte) et l'attention multi-têtes (traitement simultané de plusieurs aspects d'un texte).

Quelles tâches d'analyse sont des exemples d'auto-attention vs. d'attention multi-têtes?

Cette activité fait partie du cours

Concepts sur les grands modèles de langage (LLM)

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Concepts sur les grands modèles de langage (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

9097 reviews

Commencer le cours gratuitement

Le paysage de l'IA évolue rapidement, et les grands modèles de langage (LLM) sont à l'avant-plan de cette évolution. Ce chapitre examine comment les LLM font progresser le développement d'une intelligence artificielle plus humaine et transforment les secteurs d'activité grâce à leurs nombreuses applications. Vous explorerez aussi les défis et la complexité associés à la modélisation du langage.

Exercise 1: La montée des LLM dans le paysage de l'IA Exercise 2: Définition d'un LLM Exercise 3: Les LLM dans le paysage de l'IA Exercise 4: Applications d'IA vs. applications de LLM Exercise 5: Applications concrètes Exercise 6: Applications d'affaires Exercise 7: Applications multimodales Exercise 8: Automatiser les tâches axées sur les données Exercise 9: Défis de la modélisation du langage Exercise 10: Que peut faire un modèle de langue?Exercise 11: Apprentissage monotâche vs. multitâche

Ce chapitre met en avant la nouveauté des LLM et leurs capacités émergentes, tout en présentant diverses techniques de TAL pour la préparation des données. Vous apprendrez quels sont les défis liés à l'entraînement des LLM et comment l'ajustement fin peut y répondre efficacement. Vous comprendrez aussi comment les techniques d'apprentissage à N exemples permettent d'adapter efficacement des modèles préentraînés lorsque les données étiquetées sont limitées.

Exercise 1: La nouveauté des LLM Exercise 2: Résolution de problèmes avec les LLM Exercise 3: Modèles traditionnels vs LLM Exercise 4: Aperçu général du NLP Exercise 5: Préparation des données Exercise 6: Prétraitement et représentation de texte Exercise 7: Représentations vectorielles plutôt que sac de mots Exercise 8: Ajustement fin Exercise 9: Défis liés à la conception des LLM Exercise 10: Adapter un modèle préentraîné Exercise 11: Préentraîné ou ajusté finement ?Exercise 12: Techniques d'apprentissage Exercise 13: Ajuster finement un modèle Exercise 14: Apprentissage N-shot

Dans ce chapitre, vous découvrirez les éléments de base pour entraîner un LLM, notamment les techniques de préentraînement. Vous acquerrez aussi une compréhension intuitive de concepts complexes comme l'architecture Transformer, y compris le mécanisme d'attention. Le chapitre présente une technique avancée d'ajustement fin et résume le processus d'entraînement pour mener à bien un LLM.

Exercise 1: Les éléments de base pour entraîner des LLM Exercise 2: Langage masqué Exercise 3: Prédire le mot suivant Exercise 4: Construire à partir de zéro Exercise 5: Introduction au transformeur Exercise 6: Relations entre des mots éloignés Exercise 7: Composantes du transformeur Exercise 8: Mécanismes d'attention Exercise 9: Cible de l'attention à têtes multiples Exercise 10: Auto-attention vs. attention multi-têtes

Exercice en cours

Exercise 11: Ajustement fin avancé Exercise 12: Entraînement de bout en bout Exercise 13: Entraînement, ajustement et rétroaction Exercise 14: Construire un LLM

Dans ce chapitre, nous abordons les principales considérations liées à l'entraînement des LLM, comme la disponibilité de grandes quantités de données, la qualité des données, l'étiquetage précis et les répercussions des biais. Vous examinerez également divers risques associés aux LLM, notamment la confidentialité des données, les enjeux éthiques et l'impact environnemental. Enfin, le chapitre se conclut par une discussion sur les domaines de recherche émergents et l'évolution du paysage des LLM.

Exercise 1: Enjeux et considérations liés aux données Exercise 2: Votre modèle est-il équitable?Exercise 3: Sans biais et pertinentes Exercise 4: Service à la clientèle d'une banque Exercise 5: Enjeux éthiques et environnementaux Exercise 6: Utilisation responsable Exercise 7: Éthique et environnement Exercise 8: Où s'en vont les LLM?Exercise 9: Créativité ou efficacité Exercise 10: Analyser des œuvres littéraires Exercise 11: C'est l'heure du bilan