Ce chapitre présente les bases du Reinforcement Learning with Human Feedback (RLHF), une technique qui fait appel à l'intervention humaine pour aider les modèles d'IA à mieux apprendre. Commencez avec le RLHF en comprenant comment il se distingue de l'apprentissage par renforcement traditionnel et pourquoi la rétroaction humaine peut améliorer le rendement de l'IA dans divers domaines.

Introduction à RLHF

Génération de texte avec RLHF

Classer du texte généré pour le RLHF

RL vs RLHF

Explorer des LLM préentraînés

Tokeniser un ensemble de données textuelles

Ajustement fin pour la classification d'avis

Préparer les données pour le RLHF

Préparer l'ensemble de données de préférences

Extraction des invites

Concepts fondamentaux

Découvrez comment mettre en place des systèmes pour recueillir de la rétroaction humaine dans ce chapitre. Apprenez les pratiques exemplaires pour collecter des données de haute qualité — des comparaisons par paires à l'échantillonnage par incertitude — et explorez des stratégies pour bonifier votre collecte de données.

Méthodes pour recueillir des rétroactions de grande qualité

Comprendre la comparaison et le rating en RLHF

Comparer des slogans pour une campagne de gym

Mesurer la qualité et la pertinence de la rétroaction

Faible confiance

K-means pour regrouper les rétroactions

Apprentissage actif

Mettre en place un pipeline d'apprentissage actif

Boucle d'apprentissage actif

Collecte de rétroaction humaine

Dans ce chapitre, vous aborderez le cœur de l'entraînement en Reinforcement Learning from Human Feedback. Cela comprend l'exploration de l'ajustement fin avec PPO, des techniques pour s'entraîner efficacement et la gestion des écarts possibles par rapport aux objectifs de vos mesures.

Exploration des modèles de récompense

Initialiser la récompense

Configurer le formateur de récompense

Entraînement avec PPO

Initialiser l'entraîneur PPO

Réglage fin avec PPO

Ajustement efficace dans le cadre du RLHF

Préparer l'entraînement en 8 bits

Entraîner avec LoRA

Ajuster les modèles avec la rétroaction humaine

Explorez les principales techniques pour évaluer et améliorer le rendement des modèles dans ce dernier chapitre sur le Reinforcement Learning from Human Feedback (RLHF) : des mesures d'ajustement fin à l'intégration de sources de rétroaction variées, vous repartirez avec une trousse complète pour affiner vos modèles efficacement.

Mesures du modèle et ajustements

Atténuer une divergence KL négative

Vérifier le modèle de récompense

Intégrer des sources de rétroaction variées

Vote majoritaire à partir de multiples sources de données

Repérage des sources de données peu fiables

Évaluer les modèles RLHF

Interpréter des courbes

Évaluer le RLHF avec des mesures

On conclut votre parcours RLHF

Évaluation des modèles

Alliez l'efficacité de l'IA générative à la compréhension de l'expertise humaine dans ce cours sur le Reinforcement Learning from Human Feedback. Vous apprendrez à faire en sorte que les modèles de GenAI reflètent réellement les valeurs et les préférences humaines tout en acquérant de l'expérience pratique avec les LLM. Vous aborderez aussi les complexités des modèles de récompense et verrez comment vous appuyer sur les LLM pour produire une IA qui non seulement apprend, mais s'adapte à des situations réelles.

Deep Reinforcement Learning in Python

Apprenez à créer des modèles GenAI reflétant les valeurs humaines tout en explorant des LLM avancés.

Reinforcement Learning from Human Feedback (RLHF)

Développement de grands modèles de langage

Apprentissage par renforcement en Python

RL vs RLHF

Reinforcement Learning from Human Feedback (RLHF)

Exercice interactif pratique