優先順位付き経験再生を用いたDQN
この演習では、DQNアルゴリズムを強化するために Prioritized Experience Replay（PER）を導入します。PER は、各ステップでネットワークを更新するために選ばれる遷移のバッチを最適化することを目的としています。
参考として、PrioritizedReplayBuffer に定義済みのメソッド名は次のとおりです。
push()（遷移をバッファに追加）sample()（バッファから遷移のバッチをサンプリング）increase_beta()（重要度サンプリングの影響を増加）update_priorities()（サンプリング済みの優先度を更新）
describe_episode() 関数は、各エピソードの内容を説明するために再度使用します。
この演習はコースの一部です
Pythonで学ぶDeep Reinforcement Learning
演習の手順
- 容量が 10000 の Prioritized Experience Replay バッファをインスタンス化します。
betaパラメータを更新して、時間の経過とともに重要度サンプリングの影響を強めます。- 直近のTD誤差に基づいて、サンプリングした経験の優先度を更新します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Instantiate a Prioritized Replay Buffer with capacity 10000
replay_buffer = ____(____)
for episode in range(5):
state, info = env.reset()
done = False
step = 0
episode_reward = 0
# Increase the replay buffer's beta parameter
replay_buffer.____
while not done:
step += 1
total_steps += 1
q_values = online_network(state)
action = select_action(q_values, total_steps, start=.9, end=.05, decay=1000)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
replay_buffer.push(state, action, reward, next_state, done)
if len(replay_buffer) >= batch_size:
states, actions, rewards, next_states, dones, indices, weights = replay_buffer.sample(64)
q_values = online_network(states).gather(1, actions).squeeze(1)
with torch.no_grad():
next_q_values = target_network(next_states).amax(1)
target_q_values = rewards + gamma * next_q_values * (1-dones)
td_errors = target_q_values - q_values
# Update the replay buffer priorities for that batch
replay_buffer.____(____, ____)
loss = torch.sum(weights * (q_values - target_q_values) ** 2)
optimizer.zero_grad()
loss.backward()
optimizer.step()
update_target_network(target_network, online_network, tau=.005)
state = next_state
episode_reward += reward
describe_episode(episode, reward, episode_reward, step)