Pravděpodobnosti přechodů a odměny
Prostředí Cliff Walking má 48 stavů, číslovaných od 0 do 47, řádek po řádku, od levého horního rohu (0) po pravý dolní roh (47). Tvým úkolem je prozkoumat strukturu pravděpodobností přechodů a odměn v tomto prostředí. Všimni si, že všechny odměny jsou záporné – včetně odměny za dosažení cíle. Toto designové rozhodnutí klade důraz na minimalizaci počtu kroků, protože každý krok přináší penalizaci. Efektivita je proto klíčovým faktorem při návrhu účinných algoritmů učení.
Knihovna gymnasium byla importována jako gym a prostředí jako env. Z předchozího cvičení jsou také k dispozici proměnné num_states a num_actions.
Toto cvičení je součástí kurzu
Reinforcement Learning with Gymnasium in Python
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Choose the state
state = ____
# Extract transitions for each state-action pair
for action in range(num_actions):
transitions = ____
# Print details of each transition
for transition in transitions:
____, ____, ____, ____ = transition
print(f"Probability: {probability}, Next State: {next_state}, Reward: {reward}, Done: {done}")