Розуміння порівняння та оцінювання в RLHF

Тепер ваша черга. Уявіть, що ви проєктуєте AI-асистента й хочете зрозуміти задоволеність користувачів. Ви розглядаєте збирання відгуків на основі порівнянь або, як альтернативу, оцінок. Але в чому різниця між ними? Кожен метод має свої особливості, і правильний вибір може суттєво вплинути на успіх вашого продукту.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі подано основи Reinforcement Learning with Human Feedback (RLHF) — підходу, що використовує людський внесок, аби моделі ШІ навчалися ефективніше. Почніть роботу з RLHF, зрозумівши, чим він відрізняється від класичного підкріплювального навчання та чому людський зворотний зв'язок може підвищувати продуктивність ШІ у різних галузях.

Exercise 1: Вступ до RLHF Exercise 2: Генерація тексту з RLHF Exercise 3: Класифікація згенерованого тексту для RLHF Exercise 4: RL проти RLHF Exercise 5: Дослідження попередньо натренованих LLM Exercise 6: Токенізуйте текстовий набір даних Exercise 7: Тонке налаштування для класифікації відгуків Exercise 8: Підготовка даних для RLHF Exercise 9: Підготовка набору даних уподобань Exercise 10: Видобування підказок (prompts)

У цьому розділі ви дізнаєтеся, як налаштувати системи для збирання людського зворотного зв'язку. Ознайомитеся з найкращими практиками збирання якісних даних — від парних порівнянь до відбору за невизначеністю — і дослідите стратегії, що допомагають покращити процес збору даних.

Exercise 1: Методи збирання якісного відгуку Exercise 2: Розуміння порівняння та оцінювання в RLHF

Поточна вправа

Exercise 3: Порівняння слоганів для кампанії спортзалу Exercise 4: Оцінювання якості та доречності відгуків Exercise 5: Низька впевненість Exercise 6: K-means для кластеризації відгуків Exercise 7: Активне навчання Exercise 8: Реалізація конвеєра active learning Exercise 9: Цикл активного навчання

У цьому розділі ви зануритеся в ядро навчання Reinforcement Learning from Human Feedback. Розглянете тонке налаштування з PPO, техніки ефективного тренування та способи обробки можливих відхилень від цілей ваших метрик.

Exercise 1: Розглядаємо моделі винагороди Exercise 2: Ініціалізація винагороди Exercise 3: Налаштування тренера винагород Exercise 4: Навчання з PPO Exercise 5: Ініціалізуйте тренер PPO Exercise 6: Тонке налаштування PPO Exercise 7: Ефективне донавчання в RLHF Exercise 8: Підготовка до навчання у 8 бітах Exercise 9: Навчання з LoRA

Ознайомтеся з ключовими методами оцінювання та вдосконалення якості моделей у фінальному розділі Reinforcement Learning from Human Feedback (RLHF): від метрик тонкого налаштування до залучення різних джерел зворотного зв'язку — ви отримаєте повний набір інструментів для ефективного доопрацювання моделей.

Exercise 1: Метрики моделі та коригування Exercise 2: Пом'якшення негативної KL-дивергенції Exercise 3: Перевіряємо модель винагороди Exercise 4: Залучення різноманітних джерел відгуків Exercise 5: Мажоритарне голосування на кількох джерелах даних Exercise 6: Виявлення ненадійного джерела даних Exercise 7: Оцінювання моделей RLHF Exercise 8: Інтерпретація кривих Exercise 9: Оцінювання RLHF за метриками Exercise 10: Підсумуємо вашу подорож у RLHF