Онлайн-мережа та цільова мережа в DDQN

У Double DQN, як і в DQN із фіксованими Q-цілями, використовуються дві нейронні мережі: онлайн-мережа та цільова мережа. Важливо розуміти, для чого призначена кожна з них і яку роль вони відіграють у циклі тренування DDQN.

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

З'ясуйте, як глибоке навчання з підкріпленням перевершує класичний Reinforcement Learning, і водночас розберіться та реалізуйте свій перший алгоритм Deep Q Learning.

Exercise 1: Вступ до глибокого навчання з підкріпленням Exercise 2: Налаштування середовища та нейронної мережі Exercise 3: Тренувальний цикл DRL Exercise 4: Вступ до deep Q learning Exercise 5: Глибоке навчання та DQN Exercise 6: Архітектура Q-мережі Exercise 7: Створення екземпляра Q-Network Exercise 8: Базовий алгоритм DQN Exercise 9: Базовий вибір дії у DQN Exercise 10: Базова функція втрат DQN Exercise 11: Тренування базового DQN

Зануртеся в глибоке Q-навчання, реалізувавши оригінальний алгоритм DQN з Experience Replay, епсілон-жадібністю та фіксованими Q-цілями. Далі ви дослідите дві цікаві модифікації, що підвищують ефективність і стабільність глибокого Q-навчання: Double DQN і Prioritized Experience Replay.

Exercise 1: DQN з experience replay Exercise 2: Двобічна черга Exercise 3: Буфер experience replay Exercise 4: DQN з повторним відтворенням досвіду (Experience Replay)Exercise 5: Повний алгоритм DQN Exercise 6: Епсілон-жадібність Exercise 7: Фіксовані Q-цілі Exercise 8: Реалізація повного алгоритму DQN Exercise 9: Double DQN Exercise 10: Онлайн-мережа та цільова мережа в DDQN

Поточна вправа

Exercise 11: Навчання Double DQN Exercise 12: Пріоритезований experience replay Exercise 13: Буфер пріоритизованого повторного програвання досвіду Exercise 14: Вибірка з буфера PER Exercise 15: DQN із пріоритезованим повторним відтворенням досвіду

Дізнайтеся про базові концепції методів градієнта політики в DRL. Ви почнете з теореми про градієнт політики, яка є основою цих методів. Потім ви реалізуєте алгоритм REINFORCE — потужний підхід до навчання політик. Далі розгляд перейде до методів Actor-Critic із фокусом на алгоритмі Advantage Actor-Critic (A2C), який поєднує переваги градієнтних і ціннісних методів, підвищуючи ефективність і стабільність навчання.

Exercise 1: Вступ до policy gradient Exercise 2: Архітектура політики-мережі Exercise 3: Робота з дискретними розподілами Exercise 4: Policy gradient і REINFORCE Exercise 5: Вибір дії в REINFORCE Exercise 6: Навчання алгоритму REINFORCE Exercise 7: Advantage Actor Critic Exercise 8: Мережа критика Exercise 9: Обчислення втрат у Actor–Critic Exercise 10: Навчання алгоритму A2C

Ознайомтеся з Proximal Policy Optimization (PPO) для надійної роботи DRL. Далі ви розглянете використання ентропійного бонусу в PPO, який заохочує дослідження середовища та запобігає передчасному переходу до детермінованих політик. Ви також вивчите пакетні оновлення в методах градієнта політики. Нарешті, ви дізнаєтеся про оптимізацію гіперпараметрів за допомогою Optuna — потужного інструмента для підвищення продуктивності ваших DRL-моделей.

Exercise 1: Proximal policy optimization Exercise 2: Обрізане співвідношення ймовірностей Exercise 3: Clipped surrogate objective — цільова функція з обрізанням Exercise 4: Надбавка за ентропію та PPO Exercise 5: Майданчик для ентропії Exercise 6: Навчання алгоритму PPO Exercise 7: Пакетні оновлення в методі градієнта політики Exercise 8: Мініпакет і DRL Exercise 9: A2C з пакетними оновленнями Exercise 10: Оптимізація гіперпараметрів за допомогою Optuna Exercise 11: Гіперпараметр чи ні?Exercise 12: Практика з Optuna Exercise 13: Вітаємо!