了解深度强化学习如何改进传统强化学习，并实现您的第一个深度 Q 学习算法。

深度强化学习导论

环境与神经网络设置

DRL 训练循环

深度 Q 学习入门

深度学习与 DQN

Q-Network 架构

实例化 Q-Network

最简版 DQN 算法

精简版 DQN 动作选择

最简版 DQN 损失函数

训练基础版 DQN

深度强化学习入门

通过实现原始 DQN 算法深入学习深度 Q 学习，其包含经验回放、epsilon-贪心与固定 Q 目标。接着，您将探索两种能够提升深度 Q 学习性能与稳定性的扩展：Double DQN 与优先级经验回放。

带经验回放的 DQN

双端队列

经验回放缓冲区

带有经验回放的 DQN

完整的 DQN 算法

Epsilon-greediness

固定 Q 目标（Fixed Q-targets）

实现完整的 DQN 算法

Double DQN（双重 DQN）

DDQN 中的在线网络与目标网络

训练 double DQN

优先级经验回放

优先经验回放缓冲区

从 PER 缓冲区采样

带优先经验回放的 DQN

深度 Q 学习

学习 DRL 中策略梯度方法的核心概念。您将从奠定这些方法基础的策略梯度定理开始。随后实现 REINFORCE 算法，这是一种强大的策略学习方法。接着，章节将引导您学习 Actor-Critic 方法，重点讲解优势 Actor-Critic（A2C）算法，它结合了策略梯度与基于价值的方法优势，从而提升学习效率与稳定性。

Policy Gradient 简介

策略网络架构

离散分布的使用

策略梯度与 REINFORCE

REINFORCE 中的动作选择

训练 REINFORCE 算法

Advantage Actor Critic（优势 Actor-Critic）

Critic 网络

Actor-Critic 的损失计算

训练 A2C 算法

策略梯度方法入门

探索近端策略优化（PPO），实现稳健的 DRL 表现。接着，您将研究在 PPO 中使用熵奖励，以避免过早收敛到确定性策略，从而鼓励探索。您还将学习策略梯度方法中的批量更新。最后，您将了解如何使用 Optuna 进行超参数优化，以充分提升 DRL 模型的性能。

Proximal Policy Optimization（PPO）

截断的概率比

裁剪后的代理目标函数

熵奖励与 PPO

熵的游乐场

训练 PPO 算法

策略梯度中的批量更新

小批量与 DRL

带批量更新的 A2C

使用 Optuna 进行超参数优化

是不是超参数？

动手实践 Optuna

恭喜您！

近端策略优化与 DRL 实用技巧

通过深度强化学习（DRL）让机器更智能，开启您的学习之旅。本课程将结合 PyTorch 和 Gymnasium，带您动手实践强大的算法。
从 DRL 基础与传统强化学习入手，然后实现深度 Q 网络（DQN），并加入如优先经验回放等高级改进。
接着学习基于策略的方法，探索业界常用的近端策略优化（PPO），最后使用 Optuna 优化您的模型。

探索前沿技术，赋能机器学习并与其环境进行交互。 你将深入探索深度强化学习（DRL）的世界，并亲身体验推动这一领域不断前进的最强大算法。 您将使用 PyTorch 和 Gymnasium 环境来构建自己的智能体。

<h2>掌握深度强化学习基础</h2>

我们的旅程从 DRL 的基础及其与传统强化学习的关系开始。 从那里开始，我们将迅速转向在 PyTorch 中实现深度 Q 网络（DQN），包括双 DQN 和优先经验回放等高级优化，以全面提升您的模型。

在探索基于策略的方法时，将你的技能提升到新水平。 您将学习并实现诸如 REINFORCE 和 Actor-Critic 方法等关键的策略梯度技术。

<h2>使用前沿算法</h2>

您将接触到当今行业中常用的强大 DRL 算法，包括近端策略优化（PPO）。 您将获得在推动机器人、游戏 AI 及更多领域突破的技术方面的实践经验。 最后，你将学习如何使用 Optuna 进行超参数调优，以优化你的模型。

在本课程结束时，您将掌握将这些前沿技术应用于现实世界问题的技能，并充分发挥深度强化学习（DRL）的全部潜力！

Intermediate Deep Learning with PyTorch

Reinforcement Learning with Gymnasium in Python

学习并使用强大的深度强化学习算法，包括改进和优化技术。

Python 中的深度强化学习

学习并应用强大的深度强化学习算法，包括优化与改进技术。

深度 Q 学习入门

Create Your Free Account