RLHF(人类反馈强化学习)
定义与核心思想
人类反馈强化学习（RLHF）是一种结合传统强化学习与人类主观判断的机器学习范式。其核心思想是通过人类对智能体行为的直接评价（如偏好排序、评分或修正），动态调整模型的优化目标，使智能体在复杂、模糊的任务中逐步逼近人类期望的行为模式。与传统强化学习依赖预设的数学化奖励函数不同，RLHF 将人类视为奖励信号的“活体来源”，尤其适用于两类场景：
- 目标难以量化：如艺术创作需平衡美感与创新性；
- 价值观对齐：如对话系统需避免偏见且符合道德准则。
技术演进：从理论到实践
RLHF 的起源可追溯至 20 世纪 90 年代的交互式学习研究，但真正突破发生在深度学习与大规模数据标注技术成熟后：
- 早期探索（2000-2015）：学者提出通过人类纠正机器人动作（如 Willow Garage 的 PR2 项目），但受限于标注效率与模型容量；
- 算法成熟期（2016-2020）：逆强化学习（IRL）与深度强化学习结合，诞生了 DeepMind 的《Deep Reinforcement Learning from Human Preferences》（2017），首次实现从人类偏好中学习复杂游戏策略；
- 大规模应用期（2021 至今）：OpenAI 的 InstructGPT 和 ChatGPT 将 RLHF 推向主流，证明了其在语言模型对齐中的有效性。
技术架构与关键组件
1. 三元组工作流
典型的 RLHF 系统包含三个核心模块：
- 策略模型（Policy Model）：生成候选行为（如文本、图像）；
- 奖励模型（Reward Model）：预测人类对行为的偏好程度；
- 优化器（Optimizer）：通过强化学习算法（如 PPO）更新策略模型。
2. 数据标注范式
人类反馈的收集方式直接影响系统性能，常见模式包括：
3. 奖励建模技术
将人类反馈转化为可优化的数值信号是 RLHF 的核心挑战。以对话系统为例：
- 对比学习法：给定同一提示的多个回答，要求标注者排序（如回答 A > B > C），通过 Bradley-Terry 模型计算概率分布：