在 Double DQN（與使用固定 Q-target 的 DQN 一樣）中，會同時使用兩個神經網路：online network 與 target network。理解它們各自的用途，以及在 DDQN 訓練迴圈中的角色，十分關鍵。
本練習屬於課程
將理論付諸實踐，立即體驗我們的互動練習
了解深度強化學習如何在傳統強化學習之上更進一步，並學習與實作你的第一個 Deep Q Learning 演算法。
透過實作原始的 DQN 演算法深入理解深度 Q 學習，其中包含 Experience Replay、epsilon 貪婪策略與固定 Q 目標。接著，你將探索兩個能提升效能與穩定性的擴充：Double DQN 與優先經驗回放（Prioritized Experience Replay）。
當前練習
學習 DRL 中策略梯度方法的核心概念。你會先從構成此類方法基礎的策略梯度定理開始，接著實作 REINFORCE 演算法，這是用於學習策略的有力方法。之後本章將帶你進入 Actor-Critic 方法，重點介紹 Advantage Actor-Critic（A2C）演算法，結合策略梯度與價值式方法的優點，以提升學習效率與穩定度。
探索能帶來穩健 DRL 表現的 Proximal Policy Optimization（PPO）。接著，你會學習在 PPO 中加入熵獎勵，藉此避免太早收斂到決定性策略並鼓勵探索。你也會了解策略梯度方法中的批次更新。最後，你將學會使用 Optuna 進行超參數最佳化，進一步提升 DRL 模型的效能。
