ПочатиПочніть безкоштовно

Навчання алгоритму PPO

Тепер ви використаєте знайомий цикл навчання A2C, щоб навчити алгоритм PPO.

Цей цикл навчання не повністю використовує переваги обрізаної замісної цільової функції, тож у результаті алгоритм не має працювати значно краще за A2C. Він слугує ілюстрацією понять, які ви вивчили щодо обрізаної замісної цілі та бонусу за ентропію.

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

Переглянути курс

Інструкції до вправи

  • Приберіть бонус за ентропію з loss-функції актора, використавши значення 0.01 для параметра \(c_{entropy}\).

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:    
        step += 1
        action, action_log_prob, entropy = select_action(actor, state)
        next_state, reward, terminated, truncated, _ = env.step(action)
        episode_reward += reward
        done = terminated or truncated
        actor_loss, critic_loss = calculate_losses(critic, action_log_prob, action_log_prob,
                                                   reward, state, next_state, done)
        # Remove the entropy bonus from the actor loss
        actor_loss -= ____ * ____
        actor_optimizer.zero_grad(); actor_loss.backward(); actor_optimizer.step()
        critic_optimizer.zero_grad(); critic_loss.backward(); critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
Редагувати та запускати код