1. Apprendre
    2. /
  2. Cours
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Exercice

Préparer l'ensemble de données de préférences

Dans cet exercice, vous allez travailler avec un ensemble de données qui contient de la rétroaction humaine sous forme de sorties « chosen » et « rejected ». Votre tâche consiste à extraire les amorces (prompts) de la colonne « chosen » et à préparer les données pour l'entraînement d'un modèle de récompense.

La fonction load_dataset de datasets a été préimportée

Instructions

100 XP
  • Chargez l'ensemble de données trl-internal-testing/hh-rlhf-helpful-base-trl-style depuis Hugging Face.
  • Écrivez une fonction qui extrait l'amorce (prompt) du champ 'content', en supposant que l'amorce se trouve à l'indice 0 de l'entrée de la fonction.
  • Appliquez la fonction qui extrait l'amorce au sous-ensemble de données 'chosen'.