Boucle d'apprentissage actif

Maintenant que vous avez configuré votre apprenant actif, il est temps de l'utiliser ! Dans cet exercice, vous allez mettre en place une boucle qui permettra d'améliorer continuellement la catégorisation des données.

L'ensemble de données a été chargé avec X_labeled pour les données d'entraînement étiquetées, X_unlabeled pour les données d'entraînement non étiquetées et y_labeled pour les étiquettes.

L'objet learner a été préimporté.

Cette activité fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Instructions de l’exercice

Mettez en place une boucle qui effectuera 10 requêtes.
À chaque itération, faites en sorte que l'apprenant s'entraîne avec les données actuellement étiquetées.
Utilisez l'apprenant pour interroger les points de données les plus incertains parmi les données non étiquetées, en fixant le nombre d'instances à 5.
Mettez à jour l'ensemble de données non étiquetées en conséquence.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Set the number of queries
____
for _ in range(n_queries):
    # Use the current labeled data
    ____
    # Query from unlabeled data
    query_idx, _ = ____  
    X_new, y_new = X_unlabeled[query_idx], y[query_idx]  
    X_labeled = np.vstack((X_labeled, X_new))  
    y_labeled = np.append(y_labeled, y_new)  
    # Update the unlabeled dataset
    X_unlabeled = np.delete(____, query_idx, axis=0)

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Ce chapitre présente les bases du Reinforcement Learning with Human Feedback (RLHF), une technique qui fait appel à l'intervention humaine pour aider les modèles d'IA à mieux apprendre. Commencez avec le RLHF en comprenant comment il se distingue de l'apprentissage par renforcement traditionnel et pourquoi la rétroaction humaine peut améliorer le rendement de l'IA dans divers domaines.

Exercise 1: Introduction à RLHF Exercise 2: Génération de texte avec RLHF Exercise 3: Classer du texte généré pour le RLHF Exercise 4: RL vs RLHF Exercise 5: Explorer des LLM préentraînés Exercise 6: Tokeniser un ensemble de données textuelles Exercise 7: Ajustement fin pour la classification d'avis Exercise 8: Préparer les données pour le RLHF Exercise 9: Préparer l'ensemble de données de préférences Exercise 10: Extraction des invites

Découvrez comment mettre en place des systèmes pour recueillir de la rétroaction humaine dans ce chapitre. Apprenez les pratiques exemplaires pour collecter des données de haute qualité — des comparaisons par paires à l'échantillonnage par incertitude — et explorez des stratégies pour bonifier votre collecte de données.

Exercise 1: Méthodes pour recueillir des rétroactions de grande qualité Exercise 2: Comprendre la comparaison et le rating en RLHF Exercise 3: Comparer des slogans pour une campagne de gym Exercise 4: Mesurer la qualité et la pertinence de la rétroaction Exercise 5: Faible confiance Exercise 6: K-means pour regrouper les rétroactions Exercise 7: Apprentissage actif Exercise 8: Mettre en place un pipeline d'apprentissage actif Exercise 9: Boucle d'apprentissage actif

Exercice en cours

Dans ce chapitre, vous aborderez le cœur de l'entraînement en Reinforcement Learning from Human Feedback. Cela comprend l'exploration de l'ajustement fin avec PPO, des techniques pour s'entraîner efficacement et la gestion des écarts possibles par rapport aux objectifs de vos mesures.

Exercise 1: Exploration des modèles de récompense Exercise 2: Initialiser la récompense Exercise 3: Configurer le formateur de récompense Exercise 4: Entraînement avec PPO Exercise 5: Initialiser l'entraîneur PPO Exercise 6: Réglage fin avec PPO Exercise 7: Ajustement efficace dans le cadre du RLHF Exercise 8: Préparer l'entraînement en 8 bits Exercise 9: Entraîner avec LoRA

Explorez les principales techniques pour évaluer et améliorer le rendement des modèles dans ce dernier chapitre sur le Reinforcement Learning from Human Feedback (RLHF) : des mesures d'ajustement fin à l'intégration de sources de rétroaction variées, vous repartirez avec une trousse complète pour affiner vos modèles efficacement.

Exercise 1: Mesures du modèle et ajustements Exercise 2: Atténuer une divergence KL négative Exercise 3: Vérifier le modèle de récompense Exercise 4: Intégrer des sources de rétroaction variées Exercise 5: Vote majoritaire à partir de multiples sources de données Exercise 6: Repérage des sources de données peu fiables Exercise 7: Évaluer les modèles RLHF Exercise 8: Interpréter des courbes Exercise 9: Évaluer le RLHF avec des mesures Exercise 10: On conclut votre parcours RLHF