訓練 Double DQN
你現在要在現有的 DQN 程式碼上做修改，實作 double DQN。
Double DQN 只需要對 DQN 演算法做很小幅度的調整，卻能大幅緩解 Q 值高估的問題，且通常能比 DQN 有更好的表現。
本練習屬於課程
Python 的深度強化學習
練習說明
- 使用
online_network()計算用於 Q 目標（Q-target）之後續動作，並確保取得正確的動作與張量形狀。 - 使用
target_network()估計上述動作的 Q 值，同樣要確保取得正確的數值與張量形狀。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
for episode in range(10):
state, info = env.reset()
done = False
step = 0
episode_reward = 0
while not done:
step += 1
total_steps += 1
q_values = online_network(state)
action = select_action(q_values, total_steps, start=.9, end=.05, decay=1000)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
replay_buffer.push(state, action, reward, next_state, done)
if len(replay_buffer) >= batch_size:
states, actions, rewards, next_states, dones = replay_buffer.sample(64)
q_values = online_network(states).gather(1, actions).squeeze(1)
with torch.no_grad():
# Obtain next actions for Q-target calculation
next_actions = ____.____.____
# Estimate next Q-values from these actions
next_q_values = ____.____.____
target_q_values = rewards + gamma * next_q_values * (1-dones)
loss = nn.MSELoss()(q_values, target_q_values)
optimizer.zero_grad()
loss.backward()
optimizer.step()
update_target_network(target_network, online_network, tau=.005)
state = next_state
episode_reward += reward
describe_episode(episode, reward, episode_reward, step)