CommencezCommencez gratuitement

Initialiser l'entraîneur PPO

Vous travaillez pour une entreprise de service à la clientèle qui utilise un robot conversationnel pour traiter les demandes. Le robot fournit des réponses utiles, mais vous avez récemment reçu des commentaires selon lesquels elles manquent de profondeur. Vous devez ajuster finement le modèle derrière le robot, et vous commencez par créer une instance d'entraîneur PPO.

Le dataset_cs a déjà été chargé.

Cette activité fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Voir le cours

Instructions de l’exercice

  • Initialisez la configuration PPO avec le nom de modèle "gpt2" et un taux d'apprentissage de 1.2e-5.
  • Chargez AutoModelForCausalLMWithValueHead, le modèle de langage causal avec une tête de valeur.
  • Créez le PPOTrainer() en utilisant le modèle, la configuration et le tokenizeur que vous venez de définir, ainsi que l'ensemble de données préchargé.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

from trl import PPOConfig, AutoModelForCausalLMWithValueHead, PPOTrainer
from transformers import AutoTokenizer

# Initialize PPO Configuration
gpt2_config = ____(model_name=____, learning_rate=____)

# Load the model
gpt2_model = ____(gpt2_config.model_name)
gpt2_tokenizer = AutoTokenizer.from_pretrained(gpt2_config.model_name)

# Initialize PPO Trainer
ppo_trainer = ____
Modifier et exécuter le code