1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Reinforcement Learning with Gymnasium in Python
Connected

cvičení

Pravděpodobnosti přechodů a odměny

Prostředí Cliff Walking má 48 stavů, číslovaných od 0 do 47, řádek po řádku, od levého horního rohu (0) po pravý dolní roh (47). Tvým úkolem je prozkoumat strukturu pravděpodobností přechodů a odměn v tomto prostředí. Všimni si, že všechny odměny jsou záporné – včetně odměny za dosažení cíle. Toto designové rozhodnutí klade důraz na minimalizaci počtu kroků, protože každý krok přináší penalizaci. Efektivita je proto klíčovým faktorem při návrhu účinných algoritmů učení.

Knihovna gymnasium byla importována jako gym a prostředí jako env. Z předchozího cvičení jsou také k dispozici proměnné num_states a num_actions.

Image showing the cliff walking environment.

Pokyny 1/2

undefined XP
    1
    2
  • Vyber stav, který se nachází nad cílovým stavem.
  • Pro každou akci extrahuj seznam n-tic přechodů pro vybraný stav a ulož ho do proměnné transitions.
  • Pro každý transition extrahuj hodnoty probability, next_state, reward a příznak done.