透過基礎概念、角色與應用，帶你進入強化學習（RL）的精彩世界。逐步掌握 RL 架構，了解代理與環境的互動。你也會學到如何使用 Gymnasium 函式庫建立環境、視覺化狀態並執行動作，為 RL 的概念與實作打下紮實基礎。

強化學習基礎

什麼是強化學習（RL）？

RL 與其他 ML 子領域的比較

適合應用 RL 的情境

掌握 RL 架構

RL 互動迴圈

情節式與連續式的 RL 任務

計算代理程式策略的折扣報酬

與 Gymnasium 環境互動

建立 Mountain Car 環境

視覺化 Mountain Car 環境

與 Frozen Lake 環境互動

強化學習概論

更深入探討以基於模型的學習為重點的 RL。解析馬可夫決策流程（MDP），並理解其關鍵組成。進一步學習策略與價值函式，並透過策略疊代與價值疊代技巧，培養策略最佳化的專業能力。

馬可夫決策程序

自訂 Frozen Lake 的 MDP 元件

探索狀態空間與動作空間

轉移機率與報酬

政策與狀態價值函式

定義確定性策略

為一個策略計算狀態價值

比較不同的策略

動作價值函式

計算 Q-value

改進策略（policy）

政策反覆運算與價值反覆運算

套用策略反覆運算以求得最優策略

實作 value iteration

基於模型的學習

展開無模型學習在 RL 中的動態旅程。首先認識基礎的蒙地卡羅方法，並實作首次造訪與每次造訪的蒙地卡羅預測演算法。接著進入時序差分學習，探索 SARSA 演算法。最後深入 Q-learning，並在具挑戰性的環境中分析其收斂性。

Monte Carlo 方法

Monte Carlo 方法的軌跡產生

實作首次訪問 Monte Carlo

實作 Every-Visit Monte Carlo

時間差分學習

實作 SARSA 更新規則

用 SARSA 解 8x8 Frozen Lake

Q-learning

實作 Q-learning 更新規則

使用 Q-learning 解 8x8 Frozen Lake

在濕滑的 Frozen Lake 上評估策略

無模型學習

深入無模型 RL 的進階策略，著重於強化決策演算法。學習 Expected SARSA 以更精準地更新策略，以及 Double Q-learning 以降低高估偏誤。探討探索－利用權衡，熟練使用 epsilon-greedy 與 epsilon-decay 策略來做出最佳動作選擇。最後挑戰多拉霸（Multi-Armed Bandit）問題，應用各種策略在不確定下解決決策難題。

Expected SARSA

Expected SARSA 更新規則

套用 Expected SARSA

Double Q-learning

實作 Double Q-learning 的更新規則

套用 Double Q-learning

在探索與利用之間取得平衡

定義 epsilon-greedy 函式

用 epsilon-greedy 策略解決 CliffWalking

使用遞減 epsilon-greedy 策略解決 CliffWalking

多拉霸（Multi-armed bandits）

建立 multi-armed bandit

解多拉霸問題

評估多拉霸問題中的收斂情形

恭喜你！

無模型 RL 的進階策略

展開一段精彩的強化學習（RL）探索之旅，這是機器學習中的關鍵分支。本互動式課程將帶你全面掌握 RL 的核心原理，學會訓練智慧型代理，讓它們做出策略性決策並最大化回饋。你的代理將從 OpenAI 的 gym 工具箱中學習，在多種環境中導航，包括穿越冰湖與攀越山峰。

<h2>探索強化學習的世界</h2>
展開一場令人振奮的強化學習（Reinforcement Learning, RL）探索之旅，深入了解這個機器學習領域中的關鍵分支。 這門互動式課程將帶領您全面探索強化學習的核心原則，讓您精通訓練智慧代理的技巧，指導它們做出策略性決策並最大化獎勵。<br><br>
<h2>掌握關鍵概念與工具</h2>
您的學習之旅將從深入探索強化學習（RL）的獨特面向開始。 您不僅會學習強化學習的基礎概念，還將運用知名的 OpenAI Gym 工具包，將關鍵的強化學習演算法應用於實際情境。 這種實作導向的方法能確保您徹底掌握強化學習的核心要素。<br><br>
<h2>深入探索進階策略與應用</h2>
隨著您的學習旅程展開，您將深入探索進階的強化學習策略，了解 Monte Carlo 方法、時序差分學習以及 Q-Learning 的精妙之處。 透過精通這些 Python 技術，您將能夠熟練訓練代理程式，應對各種複雜任務。<br><br>
<h2>將您的學習轉化為實際影響力</h2>
完成本課程後，您將深入理解RL理論，並具備將其創新應用於實際情境的能力。 您將能夠使用 Python 建立 RL 模型，為您的專案與職涯開啟無限可能。

Supervised Learning with scikit-learn

Python Toolbox

Introduction to NumPy

開始你的強化學習之旅！學習代理如何通過互動解決環境問題。

使用 Python 的 Gymnasium 進行強化學習

開啟您的強化學習之旅！掌握代理如何透過互動學習解決環境問題。

政策反覆運算與價值反覆運算

Create Your Free Account