Advantage Actor-Critic（A2C）

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

この演習はコースの一部です

Pythonで学ぶDeep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

無料でコースを始める

Deep Reinforcement Learningが、従来のReinforcement Learningをどのように発展させるのかを学び、最初のDeep Q Learningアルゴリズムを実装していきます。

Exercise 1: 深層強化学習の導入 Exercise 2: 環境とニューラルネットワークのセットアップ Exercise 3: DRL のトレーニングループ Exercise 4: Deep Q Learning 入門 Exercise 5: Deep learning と DQN Exercise 6: Q-Network のアーキテクチャ Exercise 7: Q-Network のインスタンス化 Exercise 8: 最小構成のDQNアルゴリズム Exercise 9: 最小構成DQNでの行動選択 Exercise 10: 最小構成のDQN損失関数 Exercise 11: 素のDQNの学習

Experience Replay、ε-greedy、固定Qターゲットを備えたオリジナルのDQNアルゴリズムを実装し、Deep Q-learningを深く理解します。さらに、Deep Q-learningの性能と安定性を高める2つの拡張であるDouble DQNとPrioritized Experience Replayも学びます。

Exercise 1: Experience Replay を用いた DQN Exercise 2: 両端キュー（Double-Ended Queue）Exercise 3: Experience replay バッファ Exercise 4: Experience Replay を用いた DQN Exercise 5: DQNアルゴリズムの全体像 Exercise 6: イプシロン・グリーディ Exercise 7: 固定Qターゲット Exercise 8: 完全なDQNアルゴリズムの実装 Exercise 9: Double DQN（ダブルDQN）Exercise 10: DDQN におけるオンラインネットワークとターゲットネットワーク Exercise 11: Double DQN の学習 Exercise 12: 優先順位付き経験再生 Exercise 13: 優先度付き経験再生バッファ Exercise 14: PERバッファからのサンプリング Exercise 15: 優先順位付き経験再生を用いたDQN

DRLにおけるpolicy gradient手法の基礎概念を学びます。まず、これらの手法の土台となるpolicy gradient定理から始めます。次に、方策学習の強力なアプローチであるREINFORCEアルゴリズムを実装します。続いて、Actor-Critic手法、特にpolicy gradientと価値ベース手法の強みを組み合わせて学習効率と安定性を高めるAdvantage Actor-Critic（A2C）アルゴリズムを取り上げます。

Exercise 1: ポリシーグラディエント入門 Exercise 2: ポリシーネットワークのアーキテクチャ Exercise 3: 離散分布を扱う Exercise 4: ポリシー勾配とREINFORCE Exercise 5: REINFORCE における行動選択 Exercise 6: REINFORCE アルゴリズムの学習 Exercise 7: Advantage Actor-Critic（A2C）

現在の演習

Exercise 8: Critic ネットワーク Exercise 9: Actor-Critic の損失計算 Exercise 10: A2C アルゴリズムの学習

堅牢なDRL性能を実現するProximal Policy Optimization（PPO）を学びます。次に、PPOにおけるエントロピーボーナスを取り上げ、方策が早期に決定論的に収束するのを防いで探索を促進する方法を確認します。さらに、policy gradient手法でのバッチ更新について学びます。最後に、Optunaを用いたハイパーパラメータ最適化を行い、DRLモデルの性能を高める方法を身につけます。

Exercise 1: Proximal Policy Optimization（PPO）Exercise 2: クリップした確率比 Exercise 3: クリップ付き代理目的関数 Exercise 4: エントロピー・ボーナスとPPO Exercise 5: エントロピーで遊んでみよう Exercise 6: PPOアルゴリズムの学習 Exercise 7: ポリシー勾配におけるバッチ更新 Exercise 8: ミニバッチとDRL Exercise 9: バッチ更新付きのA2C Exercise 10: Optuna を用いたハイパーパラメータ最適化 Exercise 11: ハイパーパラメータかどうか？Exercise 12: Optuna を触ってみましょう Exercise 13: おめでとうございます！