Obliczanie strat w Actor-Critic
Jako ostatni krok przed trenowaniem agenta z użyciem A2C napisz funkcję calculate_losses(), która zwraca straty dla obu sieci.
Dla przypomnienia – poniżej znajdziesz wyrażenia odpowiednio dla funkcji straty aktora i krytyka:
To ćwiczenie jest częścią kursu
Głębokie uczenie ze wzmocnieniem w Pythonie
Instrukcje do ćwiczenia
- Oblicz cel TD.
- Oblicz stratę sieci aktora.
- Oblicz stratę sieci krytyka.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
def calculate_losses(critic_network, action_log_prob,
reward, state, next_state, done):
value = critic_network(state)
next_value = critic_network(next_state)
# Calculate the TD target
td_target = (____ + gamma * ____ * (1-done))
td_error = td_target - value
# Calculate the actor loss
actor_loss = -____ * ____.detach()
# Calculate the critic loss
critic_loss = ____
return actor_loss, critic_loss
actor_loss, critic_loss = calculate_losses(
critic_network, action_log_prob,
reward, state, next_state, done
)
print(round(actor_loss.item(), 2), round(critic_loss.item(), 2))