Онлайн-сеть и целевая сеть в DDQN

В Double DQN, как и в DQN с фиксированными Q-целями, задействованы две нейронные сети: онлайн-сеть и целевая сеть. Важно понимать их роли и то, как они взаимодействуют в цикле обучения DDQN.

Это упражнение является частью курса

Глубокое обучение с подкреплением на Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Глубокое обучение с подкреплением на Python

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Узнайте, чем глубокое обучение с подкреплением превосходит классическое, и реализуйте свой первый алгоритм Deep Q-Learning.

Exercise 1: Введение в глубокое обучение с подкреплением Exercise 2: Настройка среды и нейронной сети Exercise 3: Цикл обучения в DRL Exercise 4: Введение в глубокое Q-обучение Exercise 5: Глубокое обучение и DQN Exercise 6: Архитектура Q-сети Exercise 7: Создание экземпляра Q-сети Exercise 8: Базовый алгоритм DQN Exercise 9: Выбор действия в базовом DQN Exercise 10: Функция потерь базового DQN Exercise 11: Обучение базового DQN

Погрузитесь в глубокое Q-обучение: реализуйте оригинальный алгоритм DQN с буфером воспроизведения опыта, стратегией эпсилон-жадности и фиксированными Q-целями. Затем изучите два важных расширения, которые повышают производительность и стабильность глубокого Q-обучения: Double DQN и приоритизированный буфер воспроизведения опыта.

Exercise 1: DQN с воспроизведением опыта Exercise 2: Двусторонняя очередь Exercise 3: Буфер воспроизведения опыта Exercise 4: DQN с буфером воспроизведения опыта Exercise 5: Полный алгоритм DQN Exercise 6: Эпсилон-жадность Exercise 7: Фиксированные Q-цели Exercise 8: Реализация полного алгоритма DQN Exercise 9: Double DQN Exercise 10: Онлайн-сеть и целевая сеть в DDQN

Текущее упражнение

Exercise 11: Обучение Double DQN Exercise 12: Приоритизированный воспроизвод опыта Exercise 13: Буфер приоритетного воспроизведения опыта Exercise 14: Выборка из буфера PER Exercise 15: DQN с приоритизированным воспроизведением опыта

Освойте ключевые концепции методов градиента политики в DRL. Вы начнёте с теоремы о градиенте политики, которая лежит в основе этих методов. Затем реализуете алгоритм REINFORCE — эффективный подход к обучению политик. Далее глава познакомит вас с методами «актор-критик» и алгоритмом Advantage Actor-Critic (A2C), который объединяет преимущества методов градиента политики и методов на основе ценности для повышения эффективности и стабильности обучения.

Exercise 1: Введение в метод градиента политики Exercise 2: Архитектура сети политики Exercise 3: Работа с дискретными распределениями Exercise 4: Градиентный метод в политике и алгоритм REINFORCE Exercise 5: Выбор действия в REINFORCE Exercise 6: Обучение алгоритма REINFORCE Exercise 7: Метод Advantage Actor-Critic Exercise 8: Сеть критика Exercise 9: Расчёт функций потерь Actor-Critic Exercise 10: Обучение алгоритма A2C

Изучите Proximal Policy Optimization (PPO) для достижения стабильных результатов в DRL. Вы узнаете, как применять бонус за энтропию в PPO, чтобы стимулировать исследование среды и избежать преждевременной сходимости к детерминированным политикам. Также рассмотрите пакетные обновления в методах градиента политики. В завершение вы познакомитесь с оптимизацией гиперпараметров с помощью Optuna — мощного инструмента для настройки DRL-моделей.

Exercise 1: Проксимальная оптимизация политики Exercise 2: Усечённое отношение вероятностей Exercise 3: Отсечённая суррогатная целевая функция Exercise 4: Энтропийный бонус и PPO Exercise 5: Эксперименты с энтропией Exercise 6: Обучение алгоритма PPO Exercise 7: Пакетные обновления в методе градиента стратегии Exercise 8: Минибатч и глубокое обучение с подкреплением Exercise 9: A2C с пакетными обновлениями Exercise 10: Оптимизация гиперпараметров с помощью Optuna Exercise 11: Гиперпараметр или нет?Exercise 12: Практика с Optuna Exercise 13: Поздравляем!