first-visit Monte Carlo の実装

Monte Carlo アルゴリズムの目的は、最適方策を導くために Q テーブルを推定することです。この演習では、First-Visit Monte Carlo 法を実装して行動価値関数 Q を推定し、前の演習で扱ったカスタム環境を解くための最適方策を計算します。リターンを計算する際は、割引率を 1 と仮定してください。

各状態–行動ペアに対する Q 値、報酬の累積和、訪問回数をそれぞれ保持する numpy 配列 Q、returns_sum、returns_count は、すでに初期化済みで読み込まれています。

この演習はコースの一部です

Pythonで学ぶGymnasiumによるReinforcement Learning

コースを見る

演習の手順

first-visit Monte Carlo アルゴリズムで評価すべき if 条件を定義してください。
リターン（returns_sum）、そのカウント（returns_count）、および visited_states を更新してください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

for i in range(100):
  episode = generate_episode()
  visited_states = set()
  for j, (state, action, reward) in enumerate(episode):
    # Define the first-visit condition
    if ____ not in ____:
      # Update the returns, their counts and the visited states
      returns_sum[state, action] += ____([____ for ____ in ____])
      returns_count[state, action] += ____
      visited_states.____(____)

nonzero_counts = returns_count != 0

Q[nonzero_counts] = returns_sum[nonzero_counts] / returns_count[nonzero_counts]
render_policy(get_policy())

コードを編集して実行

この演習はコースの一部です

Pythonで学ぶGymnasiumによるReinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

無料でコースを始める

Reinforcement Learning（RL）の基礎概念、役割、活用例を通して、RLの世界に踏み出しましょう。エージェントと環境の相互作用というRLの枠組みを理解し、Gymnasiumライブラリで環境を作成し、状態を可視化し、行動を実行する方法を学びます。これにより、RLの概念と応用を実践的に身につけられます。

Exercise 1: 強化学習の基礎 Exercise 2: 強化学習とは何ですか？Exercise 3: RL と他の ML サブドメインの比較 Exercise 4: RL を適用するシナリオ Exercise 5: RLフレームワークを理解して進める Exercise 6: RL のインタラクションループ Exercise 7: エピソード型タスクと連続型タスク Exercise 8: エージェントの戦略に対する割引リターンを計算する Exercise 9: Gymnasium 環境との対話 Exercise 10: Mountain Car 環境をセットアップする Exercise 11: Mountain Car 環境の可視化 Exercise 12: Frozen Lake 環境との対話

Model-Based Learning に焦点を当て、RLをさらに深く学びます。Markov Decision Process（MDP）の要素を整理し、その仕組みを理解しましょう。方策（policy）や価値関数についてスキルを高め、方策反復（policy iteration）と価値反復（value iteration）による方策最適化の手法を習得します。

Exercise 1: マルコフ決定過程 Exercise 2: カスタム Frozen Lake の MDP 構成要素 Exercise 3: 状態空間と行動空間を調べる Exercise 4: 遷移確率と報酬 Exercise 5: 方策と状態価値関数 Exercise 6: 決定的ポリシーを定義する Exercise 7: 方策に対する状態価値の計算 Exercise 8: ポリシーの比較 Exercise 9: 行動価値関数 Exercise 10: Q値の計算 Exercise 11: 方策の改善 Exercise 12: 方策反復と価値反復 Exercise 13: 最適方策に向けた方策反復の適用 Exercise 14: 価値反復法の実装

RLにおけるModel-Free Learningを段階的に学びます。まず基礎となるMonte Carlo法を導入し、初回訪問法と毎回訪問法のMonte Carlo予測アルゴリズムを実装します。次にTemporal Difference Learningへ移り、SARSAアルゴリズムを学びます。最後にQ-Learningを深く掘り下げ、困難な環境における収束性を分析します。

Exercise 1: モンテカルロ法 Exercise 2: Monte Carlo 法のためのエピソード生成 Exercise 3: first-visit Monte Carlo の実装

現在の演習

Exercise 4: Every-Visit Monte Carlo の実装 Exercise 5: 時間差学習（Temporal Difference Learning）Exercise 6: SARSAの更新則を実装する Exercise 7: SARSAで8x8 Frozen Lakeを解く Exercise 8: Q-learning Exercise 9: Q-learning の更新則を実装する Exercise 10: Q-learning で 8x8 Frozen Lake を攻略する Exercise 11: 滑りやすい Frozen Lake での方策評価

Model-Free RLの発展的手法を扱い、意思決定アルゴリズムを強化します。方策更新をより正確にする Expected SARSA、過大評価バイアスを抑える Double Q-learning を学びます。さらに探索と活用のトレードオフを理解し、最適な行動選択に向けて epsilon-greedy と epsilon-decay の戦略を身につけます。最後にMulti-Armed Bandit問題に取り組み、不確実性下での意思決定を解く手法を適用します。

Exercise 1: Expected SARSA（期待SARSA）Exercise 2: Expected SARSA の更新則 Exercise 3: Expected SARSA を適用する Exercise 4: Double Q-learning Exercise 5: Double Q-learning の更新則を実装する Exercise 6: Double Q-learning を適用する Exercise 7: 探索と活用のバランスを取る Exercise 8: epsilon-greedy 関数の定義 Exercise 9: epsilon-greedy 戦略で CliffWalking を解く Exercise 10: 減衰付きepsilon-greedy戦略でCliffWalkingを解く Exercise 11: 多腕バンディット Exercise 12: マルチアーム・バンディットの作成 Exercise 13: マルチアーム・バンディットを解く Exercise 14: マルチアーム・バンディットにおける収束の評価 Exercise 15: おめでとうございます！