Налаштування тренера винагород

Ваш проєкт триває, і тепер у вас є об'єкти model і config, готові до початку навчання моделі винагороди.

Тренувальний і оцінювальний набори даних попередньо завантажено як train_data та eval_data. RewardTrainer імпортовано з trl.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

Ініціалізуйте RewardTrainer(), призначивши його атрибутам модель, токенайзер, тренувальний набір даних, оцінювальний набір даних і конфігурацію винагороди.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі подано основи Reinforcement Learning with Human Feedback (RLHF) — підходу, що використовує людський внесок, аби моделі ШІ навчалися ефективніше. Почніть роботу з RLHF, зрозумівши, чим він відрізняється від класичного підкріплювального навчання та чому людський зворотний зв'язок може підвищувати продуктивність ШІ у різних галузях.

Exercise 1: Вступ до RLHF Exercise 2: Генерація тексту з RLHF Exercise 3: Класифікація згенерованого тексту для RLHF Exercise 4: RL проти RLHF Exercise 5: Дослідження попередньо натренованих LLM Exercise 6: Токенізуйте текстовий набір даних Exercise 7: Тонке налаштування для класифікації відгуків Exercise 8: Підготовка даних для RLHF Exercise 9: Підготовка набору даних уподобань Exercise 10: Видобування підказок (prompts)

У цьому розділі ви дізнаєтеся, як налаштувати системи для збирання людського зворотного зв'язку. Ознайомитеся з найкращими практиками збирання якісних даних — від парних порівнянь до відбору за невизначеністю — і дослідите стратегії, що допомагають покращити процес збору даних.

Exercise 1: Методи збирання якісного відгуку Exercise 2: Розуміння порівняння та оцінювання в RLHF Exercise 3: Порівняння слоганів для кампанії спортзалу Exercise 4: Оцінювання якості та доречності відгуків Exercise 5: Низька впевненість Exercise 6: K-means для кластеризації відгуків Exercise 7: Активне навчання Exercise 8: Реалізація конвеєра active learning Exercise 9: Цикл активного навчання

У цьому розділі ви зануритеся в ядро навчання Reinforcement Learning from Human Feedback. Розглянете тонке налаштування з PPO, техніки ефективного тренування та способи обробки можливих відхилень від цілей ваших метрик.

Exercise 1: Розглядаємо моделі винагороди Exercise 2: Ініціалізація винагороди Exercise 3: Налаштування тренера винагород

Поточна вправа

Exercise 4: Навчання з PPO Exercise 5: Ініціалізуйте тренер PPO Exercise 6: Тонке налаштування PPO Exercise 7: Ефективне донавчання в RLHF Exercise 8: Підготовка до навчання у 8 бітах Exercise 9: Навчання з LoRA

Ознайомтеся з ключовими методами оцінювання та вдосконалення якості моделей у фінальному розділі Reinforcement Learning from Human Feedback (RLHF): від метрик тонкого налаштування до залучення різних джерел зворотного зв'язку — ви отримаєте повний набір інструментів для ефективного доопрацювання моделей.

Exercise 1: Метрики моделі та коригування Exercise 2: Пом'якшення негативної KL-дивергенції Exercise 3: Перевіряємо модель винагороди Exercise 4: Залучення різноманітних джерел відгуків Exercise 5: Мажоритарне голосування на кількох джерелах даних Exercise 6: Виявлення ненадійного джерела даних Exercise 7: Оцінювання моделей RLHF Exercise 8: Інтерпретація кривих Exercise 9: Оцінювання RLHF за метриками Exercise 10: Підсумуємо вашу подорож у RLHF