Створення екземпляра Q-Network

Тепер, коли ви визначили архітектуру, можна створити саму мережу, якою користуватиметься агент, а також її оптимізатор. Середовище Lunar Lander має простір станів розмірності 8 і простір дій розмірності 4 (відповідають 0: do nothing, 1: left thruster, 2: main engine, 3: right thruster).

Клас QNetwork з попередньої вправи доступний для вас.

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

Переглянути курс

Інструкції до вправи

Створіть Q Network для середовища Lunar Lander.
Визначте оптимізатор Adam для нейронної мережі, зазначивши швидкість навчання 0.0001.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)

print("Q-Network initialized as:\n", q_network)

Редагувати та запускати код

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

З'ясуйте, як глибоке навчання з підкріпленням перевершує класичний Reinforcement Learning, і водночас розберіться та реалізуйте свій перший алгоритм Deep Q Learning.

Exercise 1: Вступ до глибокого навчання з підкріпленням Exercise 2: Налаштування середовища та нейронної мережі Exercise 3: Тренувальний цикл DRL Exercise 4: Вступ до deep Q learning Exercise 5: Глибоке навчання та DQN Exercise 6: Архітектура Q-мережі Exercise 7: Створення екземпляра Q-Network

Поточна вправа

Exercise 8: Базовий алгоритм DQN Exercise 9: Базовий вибір дії у DQN Exercise 10: Базова функція втрат DQN Exercise 11: Тренування базового DQN

Зануртеся в глибоке Q-навчання, реалізувавши оригінальний алгоритм DQN з Experience Replay, епсілон-жадібністю та фіксованими Q-цілями. Далі ви дослідите дві цікаві модифікації, що підвищують ефективність і стабільність глибокого Q-навчання: Double DQN і Prioritized Experience Replay.

Exercise 1: DQN з experience replay Exercise 2: Двобічна черга Exercise 3: Буфер experience replay Exercise 4: DQN з повторним відтворенням досвіду (Experience Replay)Exercise 5: Повний алгоритм DQN Exercise 6: Епсілон-жадібність Exercise 7: Фіксовані Q-цілі Exercise 8: Реалізація повного алгоритму DQN Exercise 9: Double DQN Exercise 10: Онлайн-мережа та цільова мережа в DDQN Exercise 11: Навчання Double DQN Exercise 12: Пріоритезований experience replay Exercise 13: Буфер пріоритизованого повторного програвання досвіду Exercise 14: Вибірка з буфера PER Exercise 15: DQN із пріоритезованим повторним відтворенням досвіду

Дізнайтеся про базові концепції методів градієнта політики в DRL. Ви почнете з теореми про градієнт політики, яка є основою цих методів. Потім ви реалізуєте алгоритм REINFORCE — потужний підхід до навчання політик. Далі розгляд перейде до методів Actor-Critic із фокусом на алгоритмі Advantage Actor-Critic (A2C), який поєднує переваги градієнтних і ціннісних методів, підвищуючи ефективність і стабільність навчання.

Exercise 1: Вступ до policy gradient Exercise 2: Архітектура політики-мережі Exercise 3: Робота з дискретними розподілами Exercise 4: Policy gradient і REINFORCE Exercise 5: Вибір дії в REINFORCE Exercise 6: Навчання алгоритму REINFORCE Exercise 7: Advantage Actor Critic Exercise 8: Мережа критика Exercise 9: Обчислення втрат у Actor–Critic Exercise 10: Навчання алгоритму A2C

Ознайомтеся з Proximal Policy Optimization (PPO) для надійної роботи DRL. Далі ви розглянете використання ентропійного бонусу в PPO, який заохочує дослідження середовища та запобігає передчасному переходу до детермінованих політик. Ви також вивчите пакетні оновлення в методах градієнта політики. Нарешті, ви дізнаєтеся про оптимізацію гіперпараметрів за допомогою Optuna — потужного інструмента для підвищення продуктивності ваших DRL-моделей.

Exercise 1: Proximal policy optimization Exercise 2: Обрізане співвідношення ймовірностей Exercise 3: Clipped surrogate objective — цільова функція з обрізанням Exercise 4: Надбавка за ентропію та PPO Exercise 5: Майданчик для ентропії Exercise 6: Навчання алгоритму PPO Exercise 7: Пакетні оновлення в методі градієнта політики Exercise 8: Мініпакет і DRL Exercise 9: A2C з пакетними оновленнями Exercise 10: Оптимізація гіперпараметрів за допомогою Optuna Exercise 11: Гіперпараметр чи ні?Exercise 12: Практика з Optuna Exercise 13: Вітаємо!