转移概率与回报
Cliff Walking 环境共有 48 个状态，从 0 到 47，按行编号：从左上角的 0 到右下角的 47。您的目标是研究该设置中的转移概率和回报的结构。需要注意的是，在这个环境中，所有回报（包括到达目标的回报）都是负数。这样的设计强调减少步数，因为每走一步都会受到惩罚，因此效率成为设计有效学习算法的关键。
已将 gymnasium 库导入为 gym，环境导入为 env。此外，还从上一个练习中导入了 num_states 和 num_actions。
本练习是课程的一部分
Python 中的 Gymnasium 强化学习
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Choose the state
state = ____
# Extract transitions for each state-action pair
for action in range(num_actions):
transitions = ____
# Print details of each transition
for transition in transitions:
____, ____, ____, ____ = transition
print(f"Probability: {probability}, Next State: {next_state}, Reward: {reward}, Done: {done}")