1. Learn
    2. /
  2. Курси
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Вправа

Пом'якшення негативної KL-дивергенції

Ви виконували донавчання моделі за методиками RLHF і помітили, що продуктивність моделі погіршилася порівняно з базовою. Ви підозрюєте, що це сталося через негативну KL-дивергенцію, тож хочете встановити правильні параметри генерації, щоб запобігти цій проблемі.

tokenizer уже імпортовано.

Інструкції

100 XP
  • Встановіть top_k і min_length у значення, які допоможуть уникнути KL-дивергенції.