Инициализация вознаграждения

Вы находитесь на финальном этапе развёртывания генеративной модели, предназначенной для персонализированных рекомендаций в онлайн-книжном магазине. Чтобы привести эту модель в соответствие с предпочтениями пользователей, необходимо обучить модель вознаграждения на собранных данных о предпочтениях. Первый шаг — инициализация модели и параметров конфигурации.

AutoTokenizer и AutoModelForSequenceClassification были предварительно загружены из transformers. RewardConfig был предварительно загружен из trl.

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Посмотреть курс

Инструкции к упражнению

Загрузите модель GPT-1, "openai-gpt", для задачи классификации последовательностей с помощью AutoModelForSequenceClassification из Hugging Face.
Инициализируйте конфигурацию вознаграждения, указав "output_dir" в качестве директории вывода и установив максимальную длину токена равной 60.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Load the pre-trained GPT-1 model for text classification
model = ____

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")

# Initialize the reward configuration and set max_length
config = ____(output_dir=____, max_length=____)

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматриваются основы обучения с подкреплением на основе обратной связи от людей (RLHF) — метода, при котором человеческая обратная связь помогает моделям ИИ обучаться эффективнее. Вы познакомитесь с RLHF, поймёте, чем он отличается от традиционного обучения с подкреплением, и узнаете, почему обратная связь от людей способна повысить качество ИИ в различных областях.

Exercise 1: Введение в RLHF Exercise 2: Генерация текста с помощью RLHF Exercise 3: Классификация сгенерированного текста для RLHF Exercise 4: RL и RLHF Exercise 5: Изучение предобученных LLM Exercise 6: Токенизация текстового набора данных Exercise 7: Дообучение для классификации отзывов Exercise 8: Подготовка данных для RLHF Exercise 9: Подготовка набора данных с предпочтениями Exercise 10: Извлечение запросов

В этой главе вы узнаете, как выстраивать системы сбора обратной связи от людей. Изучите лучшие практики получения качественных данных — от попарных сравнений до выборки с неопределённостью — и освойте стратегии повышения эффективности сбора данных.

Exercise 1: Методы сбора качественной обратной связи Exercise 2: Сравнение и оценка в RLHF Exercise 3: Сравнение слоганов для рекламной кампании фитнес-клуба Exercise 4: Измерение качества и релевантности обратной связи Exercise 5: Низкая уверенность Exercise 6: K-means для кластеризации отзывов Exercise 7: Активное обучение Exercise 8: Реализация конвейера активного обучения Exercise 9: Цикл активного обучения

В этой главе вы погрузитесь в процесс обучения с подкреплением на основе обратной связи от людей. Вы рассмотрите тонкую настройку с помощью PPO, методы эффективного обучения и способы работы с возможными отклонениями от целевых метрик.

Exercise 1: Обзор моделей вознаграждения Exercise 2: Инициализация вознаграждения

Текущее упражнение

Exercise 3: Настройка тренера модели вознаграждения Exercise 4: Обучение с PPO Exercise 5: Инициализация PPO-тренера Exercise 6: Дообучение с PPO Exercise 7: Эффективная тонкая настройка в RLHF Exercise 8: Подготовка к обучению в 8-битном режиме Exercise 9: Обучение с LoRA

В последней главе курса по RLHF вы изучите ключевые методы оценки и улучшения качества моделей: от настройки метрик до использования разнообразных источников обратной связи. Вы получите полный набор инструментов для эффективного совершенствования своих моделей.

Exercise 1: Метрики и настройка модели Exercise 2: Устранение отрицательной KL-дивергенции Exercise 3: Проверка модели вознаграждения Exercise 4: Включение разнообразных источников обратной связи Exercise 5: Метод большинства голосов для нескольких источников данных Exercise 6: Выявление ненадёжных источников данных Exercise 7: Оценка моделей RLHF Exercise 8: Интерпретация кривых Exercise 9: Оценка RLHF с помощью метрик Exercise 10: Подводим итоги вашего пути в RLHF