Проверка модели вознаграждения

Вы возвращаетесь к дообучению модели и замечаете, что её производительность по-прежнему уступает базовой модели. На этот раз вы хотите проверить модель вознаграждения: вы подготовили набор данных с результатами её работы и собираетесь проанализировать их. Какие проверки выходных данных вы выполните?

Набор данных предварительно импортирован как reward_model_results.

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматриваются основы обучения с подкреплением на основе обратной связи от людей (RLHF) — метода, при котором человеческая обратная связь помогает моделям ИИ обучаться эффективнее. Вы познакомитесь с RLHF, поймёте, чем он отличается от традиционного обучения с подкреплением, и узнаете, почему обратная связь от людей способна повысить качество ИИ в различных областях.

Exercise 1: Введение в RLHF Exercise 2: Генерация текста с помощью RLHF Exercise 3: Классификация сгенерированного текста для RLHF Exercise 4: RL и RLHF Exercise 5: Изучение предобученных LLM Exercise 6: Токенизация текстового набора данных Exercise 7: Дообучение для классификации отзывов Exercise 8: Подготовка данных для RLHF Exercise 9: Подготовка набора данных с предпочтениями Exercise 10: Извлечение запросов

В этой главе вы узнаете, как выстраивать системы сбора обратной связи от людей. Изучите лучшие практики получения качественных данных — от попарных сравнений до выборки с неопределённостью — и освойте стратегии повышения эффективности сбора данных.

Exercise 1: Методы сбора качественной обратной связи Exercise 2: Сравнение и оценка в RLHF Exercise 3: Сравнение слоганов для рекламной кампании фитнес-клуба Exercise 4: Измерение качества и релевантности обратной связи Exercise 5: Низкая уверенность Exercise 6: K-means для кластеризации отзывов Exercise 7: Активное обучение Exercise 8: Реализация конвейера активного обучения Exercise 9: Цикл активного обучения

В этой главе вы погрузитесь в процесс обучения с подкреплением на основе обратной связи от людей. Вы рассмотрите тонкую настройку с помощью PPO, методы эффективного обучения и способы работы с возможными отклонениями от целевых метрик.

Exercise 1: Обзор моделей вознаграждения Exercise 2: Инициализация вознаграждения Exercise 3: Настройка тренера модели вознаграждения Exercise 4: Обучение с PPO Exercise 5: Инициализация PPO-тренера Exercise 6: Дообучение с PPO Exercise 7: Эффективная тонкая настройка в RLHF Exercise 8: Подготовка к обучению в 8-битном режиме Exercise 9: Обучение с LoRA

В последней главе курса по RLHF вы изучите ключевые методы оценки и улучшения качества моделей: от настройки метрик до использования разнообразных источников обратной связи. Вы получите полный набор инструментов для эффективного совершенствования своих моделей.

Exercise 1: Метрики и настройка модели Exercise 2: Устранение отрицательной KL-дивергенции Exercise 3: Проверка модели вознаграждения

Текущее упражнение

Exercise 4: Включение разнообразных источников обратной связи Exercise 5: Метод большинства голосов для нескольких источников данных Exercise 6: Выявление ненадёжных источников данных Exercise 7: Оценка моделей RLHF Exercise 8: Интерпретация кривых Exercise 9: Оценка RLHF с помощью метрик Exercise 10: Подводим итоги вашего пути в RLHF