Ce chapitre présente les bases du Reinforcement Learning with Human Feedback (RLHF), une approche qui s’appuie sur des retours humains pour aider les modèles d’IA à apprendre plus efficacement. Commencez avec le RLHF en comprenant en quoi il diffère de l’apprentissage par renforcement classique et pourquoi les retours humains peuvent améliorer les performances de l’IA dans divers domaines.

Introduction au RLHF

Génération de texte avec RLHF

Classer du texte généré pour le RLHF

RL vs RLHF

Explorer les LLM préentraînés

Tokeniser un jeu de données textuel

Ajustement fin pour la classification des avis

Préparer les données pour le RLHF

Préparer le jeu de données de préférences

Extraire les prompts

Concepts fondamentaux

Découvrez comment mettre en place des systèmes de collecte de retours humains dans ce chapitre. Apprenez les bonnes pratiques pour constituer des données de haute qualité — des comparaisons par paires à l’échantillonnage par incertitude — et explorez des stratégies pour renforcer votre collecte de données.

Méthodes pour collecter des retours de haute qualité

Comprendre la comparaison et l’évaluation en RLHF

Comparer des slogans pour une campagne de salle de sport

Mesurer la qualité et la pertinence des retours

Faible confiance

K-means pour le regroupement des retours

Apprentissage actif

Mettre en place un pipeline d’active learning

Boucle d’active learning

Collecte de retours humains

Dans ce chapitre, vous entrerez au cœur de l’entraînement en Reinforcement Learning from Human Feedback. Vous explorerez notamment le fine-tuning avec PPO, des techniques pour s’entraîner efficacement et la gestion des divergences possibles par rapport aux objectifs de vos métriques.

Exploration des modèles de récompense

Initialiser la récompense

Configurer le formateur de récompense

Entraîner avec PPO

Initialiser l’entraîneur PPO

Ajustement fin avec PPO

Un réglage fin efficace en RLHF

Préparer l’entraînement en 8 bits

Entraîner avec LoRA

Ajuster les modèles à partir de retours humains

Explorez les techniques essentielles pour évaluer et améliorer les performances des modèles dans ce dernier chapitre sur le Reinforcement Learning from Human Feedback (RLHF) : des métriques de fine-tuning à l’intégration de sources de retours variées, vous disposerez d’une boîte à outils complète pour affiner vos modèles avec efficacité.

Métriques et ajustements du modèle

Atténuer une divergence KL négative

Vérifier le modèle de récompense

Intégrer des sources de retour d’information variées

Vote majoritaire sur plusieurs sources de données

Identifier une source de données peu fiable

Évaluer des modèles RLHF

Interpréter des courbes

Évaluer le RLHF avec des métriques

Conclusion de votre parcours RLHF

Évaluation des modèles

Alliez l’efficacité de l’IA générative à la compréhension de l’expertise humaine dans ce cours sur le Reinforcement Learning from Human Feedback. Vous apprendrez à faire en sorte que les modèles de GenAI reflètent réellement les valeurs et préférences humaines, tout en vous exerçant concrètement avec des LLM. Vous aborderez aussi les subtilités des modèles de récompense et verrez comment tirer parti des LLM pour créer une IA qui non seulement apprend, mais s’adapte aussi aux situations réelles.

Deep Reinforcement Learning in Python

Apprenez à aligner les modèles GenAI sur les valeurs humaines tout en explorant des LLM avancés.

Reinforcement Learning from Human Feedback (RLHF)

Découvrez comment créer des modèles GenAI qui reflètent les valeurs humaines tout en acquérant une expérience pratique avec des LLM avancés.

Développer des LLM

Apprentissage par renforcement en Python

AI Engineer

Incorporating diverse feedback sources

Improved model generalization

Reduced bias

Better alignment with human values

Enhanced adaptability

Increased robustness

Integrating preference data from multiple sources

Majority voting

Unreliable preference data sources

Let's practice!

Évaluation des modèles - Intégrer des sources de retour d’information variées

Intégrer des sources de retour d’information variées

Create Your Free Account