现在轮到您了。想象您正在设计一款 AI 助手，需要了解用户满意度。您在考虑收集基于比较的反馈，或使用打分评级。那么二者有什么不同？每种方法都有各自特点，选择合适的方法会极大影响产品成效。
本练习是课程的一部分
通过我们的互动练习之一，将理论转化为实践
本章将介绍来自人类反馈的强化学习（RLHF）的基础知识。这是一种利用人类输入来帮助 AI 模型更高效学习的技术。通过理解 RLHF 与传统强化学习的差异，以及人类反馈为何能在多种领域提升 AI 表现，开始您的 RLHF 学习。
在本章中，您将学习如何搭建获取人类反馈的系统。掌握收集高质量数据的最佳实践，从成对比较到不确定性采样，并探索进一步提升数据收集效果的策略。
当前练习
在本章中，您将进入来自人类反馈的强化学习训练核心。内容包括使用 PPO 进行微调、提升训练效率的技巧，以及如何在指标目标可能偏离时进行处理。
在本课程最后一章中，探索评估与改进模型性能的关键方法。涵盖从微调指标到引入多元反馈来源等内容，为您提供一套完善的工具，帮助您高效优化 RLHF 模型。
