走进强化学习（RL）的精彩世界，了解其基础概念、角色与应用。带您梳理 RL 框架，理解智能体与环境的交互。您还将学习如何使用 Gymnasium 库创建环境、可视化状态并执行动作，从而为 RL 概念与应用打下实践基础。

强化学习基础

什么是强化学习？

RL 与其他 ML 子领域的比较

应用 RL 的情境

理解并运用 RL 框架

RL 交互循环

情节式与连续式 RL 任务

为智能体策略计算折扣回报

与 Gymnasium 环境交互

设置 Mountain Car 环境

可视化 Mountain Car 环境

与 Frozen Lake 环境交互

强化学习入门

进一步聚焦 RL 中的基于模型学习。剖析马尔可夫决策过程（MDP），理解其关键组成部分。通过学习策略与价值函数来提升您的技能。掌握策略迭代与价值迭代等策略优化方法。

马尔可夫决策过程

自定义 Frozen Lake 的 MDP 组件

探索状态空间与动作空间

转移概率与回报

策略与状态价值函数

定义一个确定性策略

为策略计算状态价值

比较策略

动作价值函数

计算 Q 值

改进策略

策略迭代与价值迭代

应用策略迭代以求最优策略

实现值迭代

基于模型的学习

踏入 RL 中无模型学习的动态领域。首先认识基础的蒙特卡罗方法，并应用首次访问与每次访问的蒙特卡罗预测算法。随后过渡到时序差分学习，探索 SARSA 算法。最后深入 Q-learning，并分析其在复杂环境中的收敛性。

Monte Carlo 方法

用于 Monte Carlo 方法的回合生成

实现 First-Visit Monte Carlo

实现 every-visit Monte Carlo

时序差分学习

实现 SARSA 更新规则

使用 SARSA 解决 8x8 Frozen Lake

Q-learning

实现 Q-learning 更新规则

用 Q-learning 解决 8x8 Frozen Lake

在湿滑的 Frozen Lake 上评估策略

无模型学习

深入无模型 RL 的高级策略，重点提升决策算法。学习 Expected SARSA，以获得更准确的策略更新；以及 Double Q-learning，用于缓解过度估计偏差。探索探索—利用权衡，熟练掌握 epsilon-greedy 与 epsilon-decay 等最优动作选择策略。解决多臂老虎机问题，应用策略应对不确定条件下的决策挑战。

Expected SARSA

Expected SARSA 更新规则

应用 Expected SARSA

Double Q-learning（双重 Q-learning）

实现 Double Q-learning 更新规则

应用 Double Q-learning

在探索与利用之间取得平衡

定义 epsilon-greedy 函数

使用 epsilon-greedy 策略解决 CliffWalking

用递减的 epsilon-greedy 策略求解 CliffWalking

多臂老虎机（Multi-armed bandits）

创建一个多臂老虎机

求解多臂老虎机

评估多臂老虎机中的收敛性

恭喜您！

无模型 RL 的高级策略

开启一次精彩的强化学习（RL）探索之旅，这是机器学习的重要分支。本交互式课程将系统带您掌握 RL 的核心原理，学习如何训练智能体，使其做出策略性决策并最大化回报。您的智能体将学会在来自 OpenAI gym 工具包的一系列环境中行动，包括穿越冰湖与攀登山脉。

<h2>探索强化学习的世界</h2>
踏上一段激动人心的强化学习（RL）探索之旅，强化学习是机器学习的一个关键分支。 这门互动课程将带你全面了解强化学习（RL）的核心原理，在这里你将掌握训练智能体的艺术，教会它们做出战略决策并最大化奖励。<br><br>
<h2>掌握核心概念与工具</h2>
你的探索之旅将从深入了解强化学习的独特之处开始。 你不仅会学习强化学习的基础概念，还会使用知名的 OpenAI Gym 工具包将关键强化学习算法应用于实际场景。 这种实践导向的方法可确保全面掌握强化学习的核心要点。<br><br>
<h2>掌握高级策略与应用</h2>
随着你的学习之旅展开，你将深入高级强化学习策略的领域，探索蒙特卡洛方法、时序差分学习和 Q-Learning 的复杂机制。 通过掌握 Python 中的这些技术，你将能够熟练训练智能体来完成各种复杂任务。<br><br>
<h2>将你的学习转化为现实世界的影响力</h2>
完成本课程后，你将对强化学习理论有深刻的理解，并具备在现实场景中创造性应用它的技能。 你将能够使用 Python 构建 RL 模型，为你的项目和职业发展开启无限可能。

Supervised Learning with scikit-learn

Python Toolbox

Introduction to NumPy

开始你的强化学习之旅！学习代理如何通过交互解决环境问题。

Python 中的 Gymnasium 强化学习

开启你的强化学习之旅！了解智能体如何通过交互学习解决环境。

Double Q-learning（双重 Q-learning）

Create Your Free Account