本章介紹 Reinforcement Learning with Human Feedback（RLHF）的基礎：這是一種運用人類輸入來幫助 AI 模型更有效學習的技術。先從了解它與傳統強化學習的差異開始，並說明為何人類回饋能在各種領域提升 AI 表現。

RLHF 入門

用 RLHF 進行文字生成

為 RLHF 對產生的文字進行情感分類

RL 與 RLHF

探索預先訓練的 LLM

對文字資料集進行分詞

為評論分類進行微調

為 RLHF 準備資料

準備偏好資料集

擷取提示詞

基礎觀念

在本章中，你將學會如何建立蒐集人類回饋的系統。從成對比較到不確定性取樣，了解蒐集高品質資料的最佳做法，並探索能強化資料蒐集的策略。

蒐集高品質回饋的方法

選項

Comparison（比較）

Rating（評分）

理解 RLHF 中的比較與評分

健身房行銷標語的比較

衡量回饋的品質與相關性

低信心

用 K-means 進行回饋分群

主動式學習

實作一個主動式學習流程

主動式學習迴圈

蒐集人類回饋

本章將帶你進入 RLHF 訓練的核心。內容包含使用 PPO 進行微調、提升訓練效率的技巧，以及如何處理模型與指標目標可能出現的偏離。

深入探索 Reward Model

初始化獎勵

設定 reward trainer

使用 PPO 進行訓練

初始化 PPO 訓練器

PPO 微調

RLHF 中的高效微調

8 位元訓練準備

使用 LoRA 訓練

 以人類回饋調校模型

在本章（亦為本課程的最後一章）中，你將探索評估並改進模型效能的關鍵方法：從微調用的評估指標到導入多元回饋來源，提供一套完整工具組，幫助你有效精煉模型。

模型指標與調整

降低負向 KL 散度的影響

檢查回饋模型

納入多元回饋來源

多個資料來源的多數決

不可靠資料來源辨識

評估 RLHF 模型

解讀曲線

用指標評估 RLHF

為你的 RLHF 學習旅程收尾

模型評估

在本課程中，結合生成式 AI 的效率與人類專業的理解，學習 Reinforcement Learning from Human Feedback。你將學會如何讓 GenAI 模型更貼近人類的價值與偏好，並實作操作 LLM。你也會釐清回饋模型的複雜性，並學習如何在 LLM 之上構建，打造不僅能學習、還能適應真實世界情境的 AI。

Deep Reinforcement Learning in Python

學習如何讓生成式AI模型真正反映人類價值，同時獲得先進LLM的實踐經驗。

Reinforcement Learning from Human Feedback（RLHF）

掌握如何讓 GenAI 模型真正體現人類價值，同時實作進階 LLMs。

大語言模型開發之旅

強化學習 使用 Python

請在以下兩部電影中選出較佳者：「Interstellar」或「Oppenheimer」

請依重要性為每部電影給 1 到 5 分：「Titanic」、「Gladiator」、「Interstellar」

理解 RLHF 中的比較與評分

Reinforcement Learning from Human Feedback（RLHF）

動手互動練習