本章将介绍来自人类反馈的强化学习（RLHF）的基础知识。这是一种利用人类输入来帮助 AI 模型更高效学习的技术。通过理解 RLHF 与传统强化学习的差异，以及人类反馈为何能在多种领域提升 AI 表现，开始您的 RLHF 学习。

RLHF 简介

使用 RLHF 的文本生成

为 RLHF 对生成文本进行分类

RL 与 RLHF

探索预训练 LLM

对文本数据集进行分词

用于评论分类的微调

为 RLHF 准备数据

准备偏好数据集

提取提示词

基础概念

在本章中，您将学习如何搭建获取人类反馈的系统。掌握收集高质量数据的最佳实践，从成对比较到不确定性采样，并探索进一步提升数据收集效果的策略。

高质量反馈收集的方法

理解 RLHF 中的比较与评级

比较健身房活动的宣传标语

衡量反馈的质量与相关性

低置信度

用于反馈聚类的 K-means

主动学习

实现一个主动学习流程

主动学习循环

获取人类反馈

在本章中，您将进入来自人类反馈的强化学习训练核心。内容包括使用 PPO 进行微调、提升训练效率的技巧，以及如何在指标目标可能偏离时进行处理。

深入解析奖励模型

初始化奖励

设置奖励训练器

使用 PPO 进行训练

初始化 PPO 训练器

PPO 微调

RLHF 中的高效微调

准备进行 8 位训练

使用 LoRA 进行训练

基于人类反馈微调模型

在本课程最后一章中，探索评估与改进模型性能的关键方法。涵盖从微调指标到引入多元反馈来源等内容，为您提供一套完善的工具，帮助您高效优化 RLHF 模型。

模型度量与调整

缓解负 KL 散度

检查奖励模型

融合多样化的反馈来源

基于多个数据源的多数投票

不可靠数据源识别

评估 RLHF 模型

解读曲线

用指标评估 RLHF

为您的 RLHF 学习之旅画上句号

模型评估

在本课程中，将生成式 AI 的高效性与人类专家的理解相结合，系统学习来自人类反馈的强化学习。您将掌握如何让 GenAI 模型更真实地体现人类的价值观与偏好，并亲手实践使用 LLM。您还会梳理奖励模型的复杂性，学习如何在 LLM 之上构建既能学习又能适应真实场景的 AI。

Deep Reinforcement Learning in Python

学习如何让生成式AI模型真正反映人类价值观，同时获得先进LLM的实践经验。

来自人类反馈的强化学习（RLHF）

学习如何让 GenAI 模型真正体现人类价值观，同时获得高级 LLM 的实操经验。

开发大型语言模型

强化学习 在 Python 中

提取提示词

来自人类反馈的强化学习（RLHF）

动手互动练习