Пом'якшення негативної KL-дивергенції

Ви виконували донавчання моделі за методиками RLHF і помітили, що продуктивність моделі погіршилася порівняно з базовою. Ви підозрюєте, що це сталося через негативну KL-дивергенцію, тож хочете встановити правильні параметри генерації, щоб запобігти цій проблемі.

tokenizer уже імпортовано.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

Встановіть top_k і min_length у значення, які допоможуть уникнути KL-дивергенції.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

generation_kwargs = {
    # Set min length and top k parameters
    ____, 
  	"top_p": 1.0,
  	"do_sample": True,  
  	"pad_token_id": tokenizer.eos_token_id, 
  	"max_new_tokens": 32}

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі подано основи Reinforcement Learning with Human Feedback (RLHF) — підходу, що використовує людський внесок, аби моделі ШІ навчалися ефективніше. Почніть роботу з RLHF, зрозумівши, чим він відрізняється від класичного підкріплювального навчання та чому людський зворотний зв'язок може підвищувати продуктивність ШІ у різних галузях.

Exercise 1: Вступ до RLHF Exercise 2: Генерація тексту з RLHF Exercise 3: Класифікація згенерованого тексту для RLHF Exercise 4: RL проти RLHF Exercise 5: Дослідження попередньо натренованих LLM Exercise 6: Токенізуйте текстовий набір даних Exercise 7: Тонке налаштування для класифікації відгуків Exercise 8: Підготовка даних для RLHF Exercise 9: Підготовка набору даних уподобань Exercise 10: Видобування підказок (prompts)

У цьому розділі ви дізнаєтеся, як налаштувати системи для збирання людського зворотного зв'язку. Ознайомитеся з найкращими практиками збирання якісних даних — від парних порівнянь до відбору за невизначеністю — і дослідите стратегії, що допомагають покращити процес збору даних.

Exercise 1: Методи збирання якісного відгуку Exercise 2: Розуміння порівняння та оцінювання в RLHF Exercise 3: Порівняння слоганів для кампанії спортзалу Exercise 4: Оцінювання якості та доречності відгуків Exercise 5: Низька впевненість Exercise 6: K-means для кластеризації відгуків Exercise 7: Активне навчання Exercise 8: Реалізація конвеєра active learning Exercise 9: Цикл активного навчання

У цьому розділі ви зануритеся в ядро навчання Reinforcement Learning from Human Feedback. Розглянете тонке налаштування з PPO, техніки ефективного тренування та способи обробки можливих відхилень від цілей ваших метрик.

Exercise 1: Розглядаємо моделі винагороди Exercise 2: Ініціалізація винагороди Exercise 3: Налаштування тренера винагород Exercise 4: Навчання з PPO Exercise 5: Ініціалізуйте тренер PPO Exercise 6: Тонке налаштування PPO Exercise 7: Ефективне донавчання в RLHF Exercise 8: Підготовка до навчання у 8 бітах Exercise 9: Навчання з LoRA

Ознайомтеся з ключовими методами оцінювання та вдосконалення якості моделей у фінальному розділі Reinforcement Learning from Human Feedback (RLHF): від метрик тонкого налаштування до залучення різних джерел зворотного зв'язку — ви отримаєте повний набір інструментів для ефективного доопрацювання моделей.

Exercise 1: Метрики моделі та коригування Exercise 2: Пом'якшення негативної KL-дивергенції

Поточна вправа

Exercise 3: Перевіряємо модель винагороди Exercise 4: Залучення різноманітних джерел відгуків Exercise 5: Мажоритарне голосування на кількох джерелах даних Exercise 6: Виявлення ненадійного джерела даних Exercise 7: Оцінювання моделей RLHF Exercise 8: Інтерпретація кривих Exercise 9: Оцінювання RLHF за метриками Exercise 10: Підсумуємо вашу подорож у RLHF