1. Apprendre
    2. /
  2. Cours
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Exercice

Atténuer une divergence KL négative

Vous avez peaufiné le modèle à l'aide de techniques RLHF et vous avez constaté que ses performances se sont dégradées par rapport au modèle de base. Vous soupçonnez une divergence KL négative et vous souhaitez donc définir les bons paramètres de génération pour éviter ce problème.

Le tokenizer a déjà été importé.

Instructions

100 XP
  • Définissez top_k et min_length à des valeurs qui aident à éviter la divergence KL.