Настройка тренера модели вознаграждения

Проект продолжается: объекты model и config готовы, и можно приступать к обучению модели вознаграждения.

Наборы данных для обучения и оценки предварительно загружены как train_data и eval_data. Класс RewardTrainer импортирован из trl.

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Посмотреть курс

Инструкции к упражнению

Инициализируйте RewardTrainer(), передав ему модель, токенизатор, обучающий набор данных, набор данных для оценки и конфигурацию вознаграждения в соответствующих атрибутах.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматриваются основы обучения с подкреплением на основе обратной связи от людей (RLHF) — метода, при котором человеческая обратная связь помогает моделям ИИ обучаться эффективнее. Вы познакомитесь с RLHF, поймёте, чем он отличается от традиционного обучения с подкреплением, и узнаете, почему обратная связь от людей способна повысить качество ИИ в различных областях.

Exercise 1: Введение в RLHF Exercise 2: Генерация текста с помощью RLHF Exercise 3: Классификация сгенерированного текста для RLHF Exercise 4: RL и RLHF Exercise 5: Изучение предобученных LLM Exercise 6: Токенизация текстового набора данных Exercise 7: Дообучение для классификации отзывов Exercise 8: Подготовка данных для RLHF Exercise 9: Подготовка набора данных с предпочтениями Exercise 10: Извлечение запросов

В этой главе вы узнаете, как выстраивать системы сбора обратной связи от людей. Изучите лучшие практики получения качественных данных — от попарных сравнений до выборки с неопределённостью — и освойте стратегии повышения эффективности сбора данных.

Exercise 1: Методы сбора качественной обратной связи Exercise 2: Сравнение и оценка в RLHF Exercise 3: Сравнение слоганов для рекламной кампании фитнес-клуба Exercise 4: Измерение качества и релевантности обратной связи Exercise 5: Низкая уверенность Exercise 6: K-means для кластеризации отзывов Exercise 7: Активное обучение Exercise 8: Реализация конвейера активного обучения Exercise 9: Цикл активного обучения

В этой главе вы погрузитесь в процесс обучения с подкреплением на основе обратной связи от людей. Вы рассмотрите тонкую настройку с помощью PPO, методы эффективного обучения и способы работы с возможными отклонениями от целевых метрик.

Exercise 1: Обзор моделей вознаграждения Exercise 2: Инициализация вознаграждения Exercise 3: Настройка тренера модели вознаграждения

Текущее упражнение

Exercise 4: Обучение с PPO Exercise 5: Инициализация PPO-тренера Exercise 6: Дообучение с PPO Exercise 7: Эффективная тонкая настройка в RLHF Exercise 8: Подготовка к обучению в 8-битном режиме Exercise 9: Обучение с LoRA

В последней главе курса по RLHF вы изучите ключевые методы оценки и улучшения качества моделей: от настройки метрик до использования разнообразных источников обратной связи. Вы получите полный набор инструментов для эффективного совершенствования своих моделей.

Exercise 1: Метрики и настройка модели Exercise 2: Устранение отрицательной KL-дивергенции Exercise 3: Проверка модели вознаграждения Exercise 4: Включение разнообразных источников обратной связи Exercise 5: Метод большинства голосов для нескольких источников данных Exercise 6: Выявление ненадёжных источников данных Exercise 7: Оценка моделей RLHF Exercise 8: Интерпретация кривых Exercise 9: Оценка RLHF с помощью метрик Exercise 10: Подводим итоги вашего пути в RLHF