Comparer des slogans pour une campagne de salle de sport

Vous collaborez avec une agence de publicité pour évaluer deux modèles qui génèrent des slogans pour une campagne de salle de sport. Chaque modèle a produit une liste de slogans avec leurs scores d’efficacité correspondants. Votre tâche consiste à comparer les slogans générés par chaque modèle, déterminer lequel est globalement meilleur et calculer le taux de réussite de chaque modèle.

Les slogans ont été préchargés dans slogans_X et slogans_Y, des listes de tuples contenant le slogan et son score.

Cet exercice fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Afficher le cours

Instructions

Pour chaque paire de slogans, si le score du slogan X est plus élevé, incrémentez wins_X de 1 ; si le score du slogan Y est plus élevé, incrémentez wins_Y de 1.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")

Modifier et exécuter le code

Cet exercice fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Ce chapitre présente les bases du Reinforcement Learning with Human Feedback (RLHF), une approche qui s’appuie sur des retours humains pour aider les modèles d’IA à apprendre plus efficacement. Commencez avec le RLHF en comprenant en quoi il diffère de l’apprentissage par renforcement classique et pourquoi les retours humains peuvent améliorer les performances de l’IA dans divers domaines.

Exercise 1: Introduction au RLHF Exercise 2: Génération de texte avec RLHF Exercise 3: Classer du texte généré pour le RLHF Exercise 4: RL vs RLHF Exercise 5: Explorer les LLM préentraînés Exercise 6: Tokeniser un jeu de données textuel Exercise 7: Ajustement fin pour la classification des avis Exercise 8: Préparer les données pour le RLHF Exercise 9: Préparer le jeu de données de préférences Exercise 10: Extraire les prompts

Découvrez comment mettre en place des systèmes de collecte de retours humains dans ce chapitre. Apprenez les bonnes pratiques pour constituer des données de haute qualité — des comparaisons par paires à l’échantillonnage par incertitude — et explorez des stratégies pour renforcer votre collecte de données.

Exercise 1: Méthodes pour collecter des retours de haute qualité Exercise 2: Comprendre la comparaison et l’évaluation en RLHF Exercise 3: Comparer des slogans pour une campagne de salle de sport

Exercice en cours

Exercise 4: Mesurer la qualité et la pertinence des retours Exercise 5: Faible confiance Exercise 6: K-means pour le regroupement des retours Exercise 7: Apprentissage actif Exercise 8: Mettre en place un pipeline d’active learning Exercise 9: Boucle d’active learning

Dans ce chapitre, vous entrerez au cœur de l’entraînement en Reinforcement Learning from Human Feedback. Vous explorerez notamment le fine-tuning avec PPO, des techniques pour s’entraîner efficacement et la gestion des divergences possibles par rapport aux objectifs de vos métriques.

Exercise 1: Exploration des modèles de récompense Exercise 2: Initialiser la récompense Exercise 3: Configurer le formateur de récompense Exercise 4: Entraîner avec PPO Exercise 5: Initialiser l’entraîneur PPO Exercise 6: Ajustement fin avec PPO Exercise 7: Un réglage fin efficace en RLHF Exercise 8: Préparer l’entraînement en 8 bits Exercise 9: Entraîner avec LoRA

Explorez les techniques essentielles pour évaluer et améliorer les performances des modèles dans ce dernier chapitre sur le Reinforcement Learning from Human Feedback (RLHF) : des métriques de fine-tuning à l’intégration de sources de retours variées, vous disposerez d’une boîte à outils complète pour affiner vos modèles avec efficacité.

Exercise 1: Métriques et ajustements du modèle Exercise 2: Atténuer une divergence KL négative Exercise 3: Vérifier le modèle de récompense Exercise 4: Intégrer des sources de retour d’information variées Exercise 5: Vote majoritaire sur plusieurs sources de données Exercise 6: Identifier une source de données peu fiable Exercise 7: Évaluer des modèles RLHF Exercise 8: Interpréter des courbes Exercise 9: Évaluer le RLHF avec des métriques Exercise 10: Conclusion de votre parcours RLHF