始める無料で始める

A2C アルゴリズムの学習

A2C アルゴリズムで Lunar Lander を学習させましょう。必要な部品はそろっているので、あとは組み合わせるだけです。

アクターとクリティックのネットワークはそれぞれ actor と critic として、またそれらのオプティマイザは actor_optimizer と critic_optimizer として用意されています。

REINFORCE の select_action() 関数と、前の演習で作成した calculate_losses() 関数も利用できます。

この演習はコースの一部です

Pythonで学ぶDeep Reinforcement Learning

コースを見る

演習の手順

  • 状態に基づいて、アクターに行動を選択させます。
  • アクターとクリティックの損失をそれぞれ計算します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        if done:
            break
        # Select the action
        ____
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        # Calculate the losses
        ____, ____ = ____(
            critic, action_log_prob, 
            reward, state, next_state, done)        
        actor_optimizer.zero_grad()
        actor_loss.backward()
        actor_optimizer.step()
        critic_optimizer.zero_grad()
        critic_loss.backward()
        critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
コードを編集して実行