시작하기무료로 시작하기

PPO 알고리즘 학습시키기

이제 익숙한 A2C 학습 루프를 사용해 PPO 알고리즘을 학습시켜 보겠습니다.

이 학습 루프는 클리핑된 대리 목적 함수의 장점을 충분히 활용하지 못하므로, 성능이 A2C보다 크게 좋아지지는 않을 것입니다. 이 연습은 클리핑된 대리 목적 함수와 엔트로피 보너스 개념을 이해하는 데 초점을 둔 예시입니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

강의 보기

연습 안내

  • actor 손실에서 엔트로피 보너스를 제거하고, \(c_{entropy}\) 파라미터는 0.01 값을 사용하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:    
        step += 1
        action, action_log_prob, entropy = select_action(actor, state)
        next_state, reward, terminated, truncated, _ = env.step(action)
        episode_reward += reward
        done = terminated or truncated
        actor_loss, critic_loss = calculate_losses(critic, action_log_prob, action_log_prob,
                                                   reward, state, next_state, done)
        # Remove the entropy bonus from the actor loss
        actor_loss -= ____ * ____
        actor_optimizer.zero_grad(); actor_loss.backward(); actor_optimizer.step()
        critic_optimizer.zero_grad(); critic_loss.backward(); critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
코드 편집 및 실행