实例化 Q-Network

现在您已经定义好了网络结构，接下来要实例化智能体实际使用的网络及其优化器。Lunar Lander 环境的状态空间维度为 8，动作空间维度为 4（对应 0: do nothing、1: left thruster、2: main engine、3: right thruster）。

上一练习中的 QNetwork 类已为您提供。

本练习是课程的一部分

Python 中的深度强化学习

练习说明

为 Lunar Lander 环境实例化一个 Q 网络。
为该神经网络定义 Adam 优化器，并将学习率设为 0.0001。

交互式实操练习

通过完成这段示例代码来试试这个练习。

state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)

print("Q-Network initialized as:\n", q_network)

编辑并运行代码

本练习是课程的一部分

Python 中的深度强化学习

SkillTag.level.advancedSkillTag.label

4.8+

免费开始课程

了解深度强化学习如何改进传统强化学习，并实现您的第一个深度 Q 学习算法。

Exercise 1: 深度强化学习导论 Exercise 2: 环境与神经网络设置 Exercise 3: DRL 训练循环 Exercise 4: 深度 Q 学习入门 Exercise 5: 深度学习与 DQN Exercise 6: Q-Network 架构 Exercise 7: 实例化 Q-Network

当前练习

Exercise 8: 最简版 DQN 算法 Exercise 9: 精简版 DQN 动作选择 Exercise 10: 最简版 DQN 损失函数 Exercise 11: 训练基础版 DQN

通过实现原始 DQN 算法深入学习深度 Q 学习，其包含经验回放、epsilon-贪心与固定 Q 目标。接着，您将探索两种能够提升深度 Q 学习性能与稳定性的扩展：Double DQN 与优先级经验回放。

Exercise 1: 带经验回放的 DQN Exercise 2: 双端队列 Exercise 3: 经验回放缓冲区 Exercise 4: 带有经验回放的 DQN Exercise 5: 完整的 DQN 算法 Exercise 6: Epsilon-greediness Exercise 7: 固定 Q 目标（Fixed Q-targets）Exercise 8: 实现完整的 DQN 算法 Exercise 9: Double DQN（双重 DQN）Exercise 10: DDQN 中的在线网络与目标网络 Exercise 11: 训练 double DQN Exercise 12: 优先级经验回放 Exercise 13: 优先经验回放缓冲区 Exercise 14: 从 PER 缓冲区采样 Exercise 15: 带优先经验回放的 DQN

学习 DRL 中策略梯度方法的核心概念。您将从奠定这些方法基础的策略梯度定理开始。随后实现 REINFORCE 算法，这是一种强大的策略学习方法。接着，章节将引导您学习 Actor-Critic 方法，重点讲解优势 Actor-Critic（A2C）算法，它结合了策略梯度与基于价值的方法优势，从而提升学习效率与稳定性。

Exercise 1: Policy Gradient 简介 Exercise 2: 策略网络架构 Exercise 3: 离散分布的使用 Exercise 4: 策略梯度与 REINFORCE Exercise 5: REINFORCE 中的动作选择 Exercise 6: 训练 REINFORCE 算法 Exercise 7: Advantage Actor Critic（优势 Actor-Critic）Exercise 8: Critic 网络 Exercise 9: Actor-Critic 的损失计算 Exercise 10: 训练 A2C 算法

探索近端策略优化（PPO），实现稳健的 DRL 表现。接着，您将研究在 PPO 中使用熵奖励，以避免过早收敛到确定性策略，从而鼓励探索。您还将学习策略梯度方法中的批量更新。最后，您将了解如何使用 Optuna 进行超参数优化，以充分提升 DRL 模型的性能。

Exercise 1: Proximal Policy Optimization（PPO）Exercise 2: 截断的概率比 Exercise 3: 裁剪后的代理目标函数 Exercise 4: 熵奖励与 PPO Exercise 5: 熵的游乐场 Exercise 6: 训练 PPO 算法 Exercise 7: 策略梯度中的批量更新 Exercise 8: 小批量与 DRL Exercise 9: 带批量更新的 A2C Exercise 10: 使用 Optuna 进行超参数优化 Exercise 11: 是不是超参数？Exercise 12: 动手实践 Optuna Exercise 13: 恭喜您！