开始使用免费开始使用

训练 A2C 算法

现在用 A2C 算法来训练我们的 Lunar Lander 吧！所需的模块您都已经具备，接下来就是把它们组合起来。

actor 与 critic 网络已分别实例化为 actor 和 critic，其优化器为 actor_optimizer 和 critic_optimizer。

您在 REINFORCE 中编写的 select_action() 函数，以及上一个练习中的 calculate_losses() 函数，也都可在此处直接使用。

本练习是课程的一部分

Python 中的深度强化学习

查看课程

练习说明

  • 基于给定状态，让 actor 选择动作。
  • 分别计算 actor 与 critic 的损失。

交互式实操练习

通过完成这段示例代码来试试这个练习。

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        if done:
            break
        # Select the action
        ____
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        # Calculate the losses
        ____, ____ = ____(
            critic, action_log_prob, 
            reward, state, next_state, done)        
        actor_optimizer.zero_grad()
        actor_loss.backward()
        actor_optimizer.step()
        critic_optimizer.zero_grad()
        critic_loss.backward()
        critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
编辑并运行代码