Začněte nyníZačněte zdarma

Oříznutý poměr pravděpodobností

Nyní implementuješ oříznutý poměr pravděpodobností, což je klíčová součást účelové funkce PPO.

Poměr pravděpodobností je definován jako: $$\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$$

A oříznutý poměr pravděpodobností je: \(\mathrm{clip}(r_t(\theta), 1-\varepsilon, 1+\varepsilon)\).

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Z action_log_prob získej pravděpodobnost akce prob a z action_log_prob_old získej prob_old.
  • Odpojenou starou log-pravděpodobnost akce odděl od grafu výpočtu gradientu v torch.
  • Vypočítej poměr pravděpodobností.
  • Aplikuj oříznutí (clipping) na náhradní účelovou funkci (surrogate objective).

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

log_prob = torch.tensor(.5).log()
log_prob_old = torch.tensor(.4).log()

def calculate_ratios(action_log_prob, action_log_prob_old, epsilon):
    # Obtain prob and prob_old
    prob = ____
    prob_old = ____
    # Detach the old action log prob
    prob_old_detached = ____.____()
    # Calculate the probability ratio
    ratio = ____ / ____
    # Apply clipping
    clipped_ratio = torch.____(ratio, ____, ____)
    print(f"+{'-'*29}+\n|         Ratio: {str(ratio)} |\n| Clipped ratio: {str(clipped_ratio)} |\n+{'-'*29}+\n")
    return (ratio, clipped_ratio)

_ = calculate_ratios(log_prob, log_prob_old, epsilon=.2)
Upravit a spustit kód