始める無料で始める

方策に対する状態価値の計算

同じ決定論的な環境 MyGridWorld を使って、前の演習で定義した方策の有効性を評価します。ここでは、この方策の下で各状態の状態価値関数を計算して評価します。

環境は env としてインポート済みで、必要な変数（terminal_state、num_states、policy、gamma）も用意されています。

この演習はコースの一部です

Pythonで学ぶGymnasiumによるReinforcement Learning

コースを見る

演習の手順

  • 与えられた方策の下で各状態の価値を計算するため、compute_state_value() 関数を完成させてください。
  • 各キーが state、各値がその状態価値となる state_values 辞書を作成してください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Complete the function
def compute_state_value(state):
    if state == terminal_state:
        return ____
    action = ____
    _, next_state, reward, _ = env.unwrapped.P[state][action][0]
    return ____

# Compute all state values 
state_values = {____: ____ for ____ in range(____)}

print(state_values)
コードを編集して実行