建立 Q-Network 實例

現在你已經定義好網路架構，接下來要建立實際讓智能體使用的網路，以及它的最佳化器。Lunar Lander 環境的狀態空間維度為 8，動作空間維度為 4（對應 0: do nothing、1: left thruster、2: main engine、3: right thruster）。

上一個練習建立的 QNetwork 類別已可供你使用。

本練習屬於課程

Python 的深度強化學習

練習說明

為 Lunar Lander 環境建立一個 Q Network 實例。
為此神經網路定義 Adam 最佳化器，學習率設為 0.0001。

動手互動練習

試著完成這個範例程式碼，體驗一下這個練習。

state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)

print("Q-Network initialized as:\n", q_network)

編輯並執行程式碼

本練習屬於課程

Python 的深度強化學習

SkillTag.level.advancedSkillTag.label

4.8+

免費開始學習課程

了解深度強化學習如何在傳統強化學習之上更進一步，並學習與實作你的第一個 Deep Q Learning 演算法。

Exercise 1: 深度強化學習入門 Exercise 2: 環境與神經網路設定 Exercise 3: DRL 訓練迴圈 Exercise 4: Deep Q Learning 入門 Exercise 5: Deep learning 與 DQN Exercise 6: Q-Network 架構 Exercise 7: 建立 Q-Network 實例

當前練習

Exercise 8: 極簡版 DQN 演算法 Exercise 9: 精簡版 DQN 的動作選擇 Exercise 10: 精簡版 DQN 損失函式 Exercise 11: 訓練最精簡版 DQN

透過實作原始的 DQN 演算法深入理解深度 Q 學習，其中包含 Experience Replay、epsilon 貪婪策略與固定 Q 目標。接著，你將探索兩個能提升效能與穩定性的擴充：Double DQN 與優先經驗回放（Prioritized Experience Replay）。

Exercise 1: 含經驗回放的 DQN Exercise 2: 雙端佇列 Exercise 3: Experience replay 緩衝區 Exercise 4: 具經驗回放的 DQN Exercise 5: 完整的 DQN 演算法 Exercise 6: Epsilon-greediness Exercise 7: 固定 Q 目標（Fixed Q-targets）Exercise 8: 實作完整的 DQN 演算法 Exercise 9: Double DQN Exercise 10: DDQN 中的 online network 與 target network Exercise 11: 訓練 Double DQN Exercise 12: 優先級經驗回放 Exercise 13: 優先級經驗回放緩衝區 Exercise 14: 從 PER 緩衝區抽樣 Exercise 15: 具優先級經驗回放的 DQN

學習 DRL 中策略梯度方法的核心概念。你會先從構成此類方法基礎的策略梯度定理開始，接著實作 REINFORCE 演算法，這是用於學習策略的有力方法。之後本章將帶你進入 Actor-Critic 方法，重點介紹 Advantage Actor-Critic（A2C）演算法，結合策略梯度與價值式方法的優點，以提升學習效率與穩定度。

Exercise 1: Policy Gradient 入門 Exercise 2: 策略網路架構 Exercise 3: 操作離散機率分佈 Exercise 4: Policy gradient 與 REINFORCE Exercise 5: 在 REINFORCE 中選擇動作 Exercise 6: 訓練 REINFORCE 演算法 Exercise 7: Advantage Actor-Critic（A2C）Exercise 8: Critic 網路 Exercise 9: Actor-Critic 的損失計算 Exercise 10: 訓練 A2C 演算法

探索能帶來穩健 DRL 表現的 Proximal Policy Optimization（PPO）。接著，你會學習在 PPO 中加入熵獎勵，藉此避免太早收斂到決定性策略並鼓勵探索。你也會了解策略梯度方法中的批次更新。最後，你將學會使用 Optuna 進行超參數最佳化，進一步提升 DRL 模型的效能。

Exercise 1: Proximal policy optimization（PPO）Exercise 2: 裁切後的機率比 Exercise 3: Clipped surrogate 目標函式 Exercise 4: 熵獎勵與 PPO Exercise 5: Entropy 操作練習場 Exercise 6: 訓練 PPO 演算法 Exercise 7: Policy Gradient 的批次更新 Exercise 8: Minibatch 與 DRL Exercise 9: A2C 的批次更新 Exercise 10: 使用 Optuna 進行超參數最佳化 Exercise 11: 是不是超參數？Exercise 12: 動手實作 Optuna Exercise 13: 恭喜你！