Förlustberäkningar för Actor-Critic
Som ett sista steg innan du kan träna din agent med A2C ska du skriva en funktion calculate_losses() som returnerar förlusterna för båda nätverken.
Här är uttrycken för aktörens respektive kritikerns förlustfunktioner:
Den här övningen är en del av kursen
Djup förstärkningsinlärning i Python
Övningsinstruktioner
- Beräkna TD-målet.
- Beräkna förlusten för aktörsnätverket.
- Beräkna förlusten för kritikernätverket.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
def calculate_losses(critic_network, action_log_prob,
reward, state, next_state, done):
value = critic_network(state)
next_value = critic_network(next_state)
# Calculate the TD target
td_target = (____ + gamma * ____ * (1-done))
td_error = td_target - value
# Calculate the actor loss
actor_loss = -____ * ____.detach()
# Calculate the critic loss
critic_loss = ____
return actor_loss, critic_loss
actor_loss, critic_loss = calculate_losses(
critic_network, action_log_prob,
reward, state, next_state, done
)
print(round(actor_loss.item(), 2), round(critic_loss.item(), 2))