Formation, mise au point et retour d'information

Vous travaillez sur un projet visant à développer un modèle utilisant la technique de l'apprentissage par renforcement à travers le feedback humain (RLHF) afin d'optimiser ses performances dans un environnement d'assistance à la clientèle.

Laquelle de ces options décrit le mieux le processus RLHF?

Cet exercice fait partie du cours

Grands modèles linguistiques (LLMs) Concepts

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

Grands modèles linguistiques (LLMs) Concepts

DébutantNiveau de compétence

4.8+

3494 reviews

Commencer le cours gratuitement

Le paysage de l'IA évolue rapidement, et les grands modèles de langage (LLM) sont à la pointe de cette évolution. Ce chapitre examine comment les LLMfont progresser le développement d'une intelligence artificielle semblable à celle de l'homme et transforment les industries grâce à leurs nombreuses applications. Vous explorerez les défis et la complexité associés à la modélisation linguistique.

Exercise 1: La montée en puissance de LLMs dans le paysage de l'IA Exercise 2: Définition d'un LLM Exercise 3: LLMdans le paysage de l'IA Exercise 4: Applications AI vs. LLM Exercise 5: Applications dans le monde réel Exercise 6: Applications commerciales Exercise 7: Applications multimodales Exercise 8: Automatiser les tâches basées sur les données Exercise 9: Les défis de la modélisation linguistique Exercise 10: Que peut faire un modèle linguistique ?Exercise 11: Apprentissage monotâche ou multitâche

Ce chapitre met l'accent sur la nouveauté des sites LLMet sur leurs capacités émergentes, tout en décrivant diverses techniques NLP pour la préparation des données. Vous découvrirez les défis de la formation sur LLMs et comment le réglage fin peut y répondre efficacement. Vous comprendrez également comment les techniques d'apprentissage N-shot permettent une adaptation efficace des modèles pré-entraînés lorsqu'ils sont confrontés à un nombre limité de données étiquetées.

Exercise 1: Nouveauté de LLMs Exercise 2: Résolution de problèmes avec LLMs Exercise 3: Modèles traditionnels et LLMs Exercise 4: Vue d'ensemble NLP Exercise 5: Préparation des données Exercise 6: Prétraitement et représentation du texte Exercise 7: Encastrements de mots dans des sacs de mots Exercise 8: Mise au point Exercise 9: Les défis de la construction de LLMs Exercise 10: Adapter un modèle pré-entraîné Exercise 11: Pré-entraîné ou perfectionné ?Exercise 12: Techniques d'apprentissage Exercise 13: Affiner un modèle Exercise 14: Apprentissage à N coups

Dans ce chapitre, vous découvrirez les éléments fondamentaux de la formation à l'adresse LLM, tels que les techniques de préformation. Vous acquerrez également une compréhension intuitive de concepts complexes tels que l'architecture des transformateurs, y compris le mécanisme d'attention. Ce chapitre traite d'une technique avancée de mise au point et résume le processus de formation pour compléter un site LLM.

Exercise 1: Les éléments constitutifs de la formation LLMs Exercise 2: Langage masqué Exercise 3: Prédire le mot suivant Exercise 4: Construire à partir de zéro Exercise 5: Présentation du transformateur Exercise 6: Relations entre des mots éloignés Exercise 7: Composants du transformateur Exercise 8: Mécanismes d'attention Exercise 9: Focalisation de l'attention sur plusieurs têtes Exercise 10: Attention personnelle ou attention portée sur plusieurs têtes Exercise 11: Réglage fin avancé Exercise 12: Formation complète Exercise 13: Formation, mise au point et retour d'information

Exercice en cours

Exercise 14: Construire un LLM

Dans ce chapitre, nous nous penchons sur les principales considérations à prendre en compte lors de la formation de LLMs, telles que la disponibilité de grandes données, la qualité des données, l'exactitude de l'étiquetage et les implications des données biaisées. Vous examinerez également divers risques sur le site LLM, tels que la confidentialité des données, les préoccupations éthiques et l'impact sur l'environnement. Enfin, le chapitre se termine par une discussion sur les domaines de recherche émergents et sur l'évolution du paysage de LLMs.

Exercise 1: Préoccupations et considérations relatives aux données Exercise 2: Votre modèle est-il équitable ?Exercise 3: Sans parti pris et pertinent Exercise 4: Service clientèle d'une banque Exercise 5: Préoccupations éthiques et environnementales Exercise 6: Utilisation responsable Exercise 7: Éthique et environnement Exercise 8: Où vont les LLM?Exercise 9: Créativité ou efficacité Exercise 10: Analyse d'œuvres littéraires Exercise 11: Il est temps de conclure