了解深度強化學習如何在傳統強化學習之上更進一步，並學習與實作你的第一個 Deep Q Learning 演算法。

深度強化學習入門

環境與神經網路設定

DRL 訓練迴圈

Deep Q Learning 入門

Deep learning 與 DQN

Q-Network 架構

建立 Q-Network 實例

極簡版 DQN 演算法

精簡版 DQN 的動作選擇

精簡版 DQN 損失函式

訓練最精簡版 DQN

透過實作原始的 DQN 演算法深入理解深度 Q 學習，其中包含 Experience Replay、epsilon 貪婪策略與固定 Q 目標。接著，你將探索兩個能提升效能與穩定性的擴充：Double DQN 與優先經驗回放（Prioritized Experience Replay）。

含經驗回放的 DQN

雙端佇列

Experience replay 緩衝區

具經驗回放的 DQN

完整的 DQN 演算法

Epsilon-greediness

固定 Q 目標（Fixed Q-targets）

實作完整的 DQN 演算法

Double DQN

選項

Online network

Target network

DDQN 中的 online network 與 target network

訓練 Double DQN

優先級經驗回放

優先級經驗回放緩衝區

從 PER 緩衝區抽樣

具優先級經驗回放的 DQN

深度 Q 學習

學習 DRL 中策略梯度方法的核心概念。你會先從構成此類方法基礎的策略梯度定理開始，接著實作 REINFORCE 演算法，這是用於學習策略的有力方法。之後本章將帶你進入 Actor-Critic 方法，重點介紹 Advantage Actor-Critic（A2C）演算法，結合策略梯度與價值式方法的優點，以提升學習效率與穩定度。

Policy Gradient 入門

策略網路架構

操作離散機率分佈

Policy gradient 與 REINFORCE

在 REINFORCE 中選擇動作

訓練 REINFORCE 演算法

Advantage Actor-Critic（A2C）

Critic 網路

Actor-Critic 的損失計算

訓練 A2C 演算法

策略梯度方法入門

探索能帶來穩健 DRL 表現的 Proximal Policy Optimization（PPO）。接著，你會學習在 PPO 中加入熵獎勵，藉此避免太早收斂到決定性策略並鼓勵探索。你也會了解策略梯度方法中的批次更新。最後，你將學會使用 Optuna 進行超參數最佳化，進一步提升 DRL 模型的效能。

Proximal policy optimization（PPO）

裁切後的機率比

Clipped surrogate 目標函式

熵獎勵與 PPO

Entropy 操作練習場

訓練 PPO 演算法

Policy Gradient 的批次更新

Minibatch 與 DRL

A2C 的批次更新

使用 Optuna 進行超參數最佳化

是不是超參數？

動手實作 Optuna

恭喜你！

Proximal Policy Optimization 與 DRL 小技巧

展開一段以深度強化學習（DRL）讓機器更聰明的學習之旅。這門課將帶你用 PyTorch 與 Gymnasium 親手實作強大的演算法。
從 DRL 基礎與傳統強化學習開始，接著實作 Deep Q-Networks（DQN），並加入優先經驗回放（Prioritized Experience Replay）等進階改良。
之後你會進一步學習以策略為主的方法，探索業界常用的 Proximal Policy Optimization（PPO）等演算法，最後再用 Optuna 最佳化你的模型。

Intermediate Deep Learning with PyTorch

Reinforcement Learning with Gymnasium in Python

學習並使用強大的深度強化學習算法，包括改進和優化技術。

含經驗回放的 DQN

Create Your Free Account