시작하기무료로 시작하기

배치 업데이트가 있는 A2C

지금까지 이 강의에서는 동일한 핵심 DRL 학습 루프를 약간씩 변형해 사용해 왔습니다. 실제로는 이 구조를 확장하는 여러 방법이 있는데, 예를 들어 배치 업데이트를 적용할 수 있습니다.

이제 Lunar Lander 환경에서 A2C 학습 루프를 다시 살펴보되, 매 스텝마다 네트워크를 업데이트하는 대신 10스텝이 지나면 경사 하강을 수행하겠습니다. 10스텝 동안의 손실을 평균 내어 업데이트하면 학습이 조금 더 안정적으로 진행됩니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

강의 보기

연습 안내

  • 각 스텝에서 나온 손실을 현재 배치의 손실 텐서에 이어서 추가하세요.
  • 배치 손실을 계산하세요.
  • 손실 텐서를 다시 초기화하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        action, action_log_prob = select_action(actor, state)                
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        actor_loss, critic_loss = calculate_losses(
            critic, action_log_prob, 
            reward, state, next_state, done)
        # Append to the loss tensors
        actor_losses = torch.cat((____, ____))
        critic_losses = torch.cat((____, ____))
        if len(actor_losses) >= 10:
            # Calculate the batch losses
            actor_loss_batch = actor_losses.____
            critic_loss_batch = critic_losses.____
            actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
            critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
            # Reinitialize the loss tensors
            actor_losses = ____
            critic_losses = ____
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
코드 편집 및 실행