Создание экземпляра Q-сети
Теперь, когда архитектура сети определена, можно создать её экземпляр — ту самую сеть, которую будет использовать агент, — а также настроить оптимизатор. В среде Lunar Lander пространство состояний имеет размерность 8, а пространство действий — размерность 4 (соответствующих 0: do nothing, 1: left thruster, 2: main engine, 3: right thruster).
Класс QNetwork из предыдущего упражнения уже доступен вам.
Это упражнение является частью курса
Глубокое обучение с подкреплением на Python
Инструкции к упражнению
- Создайте экземпляр Q-сети для среды Lunar Lander.
- Определите оптимизатор Adam для нейронной сети, задав скорость обучения 0,0001.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)
print("Q-Network initialized as:\n", q_network)