시작하기무료로 시작하기

Actor-Critic 손실 계산

A2C로 에이전트를 학습하기 전 마지막 단계로, 두 네트워크의 손실을 반환하는 calculate_losses() 함수를 작성하세요.

참고로, 아래는 각각 Actor와 Critic 손실 함수의 식입니다:

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

강의 보기

연습 안내

  • TD 타깃을 계산하세요.
  • Actor 네트워크의 손실을 계산하세요.
  • Critic 네트워크의 손실을 계산하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

def calculate_losses(critic_network, action_log_prob, 
                     reward, state, next_state, done):
    value = critic_network(state)
    next_value = critic_network(next_state)
    # Calculate the TD target
    td_target = (____ + gamma * ____ * (1-done))
    td_error = td_target - value
    # Calculate the actor loss
    actor_loss = -____ * ____.detach()
    # Calculate the critic loss
    critic_loss = ____
    return actor_loss, critic_loss
  
actor_loss, critic_loss = calculate_losses(
        critic_network, action_log_prob, 
        reward, state, next_state, done
)
print(round(actor_loss.item(), 2), round(critic_loss.item(), 2))
코드 편집 및 실행