Entraînement, ajustement et rétroaction

Vous travaillez sur un projet visant à mettre au point un modèle à l'aide de la technique d'apprentissage par renforcement à partir de rétroaction humaine (RLHF) pour optimiser ses performances dans un contexte de soutien à la clientèle.

Laquelle de ces options décrit le plus fidèlement le processus de RLHF ?

Cette activité fait partie du cours

Concepts sur les grands modèles de langage (LLM)

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Concepts sur les grands modèles de langage (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Commencer le cours gratuitement

Le paysage de l'IA évolue rapidement, et les grands modèles de langage (LLM) sont à l'avant-plan de cette évolution. Ce chapitre examine comment les LLM font progresser le développement d'une intelligence artificielle plus humaine et transforment les secteurs d'activité grâce à leurs nombreuses applications. Vous explorerez aussi les défis et la complexité associés à la modélisation du langage.

Exercise 1: La montée des LLM dans le paysage de l'IA Exercise 2: Définition d'un LLM Exercise 3: Les LLM dans le paysage de l'IA Exercise 4: Applications d'IA vs. applications de LLM Exercise 5: Applications concrètes Exercise 6: Applications d'affaires Exercise 7: Applications multimodales Exercise 8: Automatiser les tâches axées sur les données Exercise 9: Défis de la modélisation du langage Exercise 10: Que peut faire un modèle de langue?Exercise 11: Apprentissage monotâche vs. multitâche

Ce chapitre met en avant la nouveauté des LLM et leurs capacités émergentes, tout en présentant diverses techniques de TAL pour la préparation des données. Vous apprendrez quels sont les défis liés à l'entraînement des LLM et comment l'ajustement fin peut y répondre efficacement. Vous comprendrez aussi comment les techniques d'apprentissage à N exemples permettent d'adapter efficacement des modèles préentraînés lorsque les données étiquetées sont limitées.

Exercise 1: La nouveauté des LLM Exercise 2: Résolution de problèmes avec les LLM Exercise 3: Modèles traditionnels vs LLM Exercise 4: Aperçu général du NLP Exercise 5: Préparation des données Exercise 6: Prétraitement et représentation de texte Exercise 7: Représentations vectorielles plutôt que sac de mots Exercise 8: Ajustement fin Exercise 9: Défis liés à la conception des LLM Exercise 10: Adapter un modèle préentraîné Exercise 11: Préentraîné ou ajusté finement ?Exercise 12: Techniques d'apprentissage Exercise 13: Ajuster finement un modèle Exercise 14: Apprentissage N-shot

Dans ce chapitre, vous découvrirez les éléments de base pour entraîner un LLM, notamment les techniques de préentraînement. Vous acquerrez aussi une compréhension intuitive de concepts complexes comme l'architecture Transformer, y compris le mécanisme d'attention. Le chapitre présente une technique avancée d'ajustement fin et résume le processus d'entraînement pour mener à bien un LLM.

Exercise 1: Les éléments de base pour entraîner des LLM Exercise 2: Langage masqué Exercise 3: Prédire le mot suivant Exercise 4: Construire à partir de zéro Exercise 5: Introduction au transformeur Exercise 6: Relations entre des mots éloignés Exercise 7: Composantes du transformeur Exercise 8: Mécanismes d'attention Exercise 9: Cible de l'attention à têtes multiples Exercise 10: Auto-attention vs. attention multi-têtes Exercise 11: Ajustement fin avancé Exercise 12: Entraînement de bout en bout Exercise 13: Entraînement, ajustement et rétroaction

Exercice en cours

Exercise 14: Construire un LLM

Dans ce chapitre, nous abordons les principales considérations liées à l'entraînement des LLM, comme la disponibilité de grandes quantités de données, la qualité des données, l'étiquetage précis et les répercussions des biais. Vous examinerez également divers risques associés aux LLM, notamment la confidentialité des données, les enjeux éthiques et l'impact environnemental. Enfin, le chapitre se conclut par une discussion sur les domaines de recherche émergents et l'évolution du paysage des LLM.

Exercise 1: Enjeux et considérations liés aux données Exercise 2: Votre modèle est-il équitable?Exercise 3: Sans biais et pertinentes Exercise 4: Service à la clientèle d'une banque Exercise 5: Enjeux éthiques et environnementaux Exercise 6: Utilisation responsable Exercise 7: Éthique et environnement Exercise 8: Où s'en vont les LLM?Exercise 9: Créativité ou efficacité Exercise 10: Analyser des œuvres littéraires Exercise 11: C'est l'heure du bilan