Ouyang, L., et al. Training language models to follow instructions with human feedback. OpenAI, 2022. arXiv:2203.02155
一、核心结论
论文最反直觉的结果是：1.3B 参数的 InstructGPT 在人类偏好评估中优于 175B 的 GPT-3。
标注人员更愿意接受前者的输出。这说明「能力规模」和「可用性」是两条不同的曲线——一个更大的基座模型如果没有对齐，实际体验可能不如一个更小但训练得当的模型。
二、问题定义
作者把「有用」拆成三个可度量的目标：
- Helpful：准确完成任务，必要时追问澄清；
- Honest：不编造，承认不知道，不误导；
- Harmless：拒绝有害请求，不输出偏见与危险内容。
注意这里的「对齐」不是价值灌输，而是让模型的输出符合标注人员的偏好——这也决定了它的局限（后文详述）。
三、三阶段流程
阶段 1：SFT 监督微调
- 从标注人员写的 prompt 和高质量回答开始，约 1.3 万条；
- 在 GPT-3 上做监督微调，得到基线策略；
- 数据量很小，但风格会强烈迁移——模型开始学会「先回答，再解释」这类交互结构。
阶段 2：训练奖励模型
- 同一 prompt 让 SFT 模型采样 4～9 个回答；
- 标注人员对这些回答排序（而非打分）；
- 用 pairwise 损失训练一个 6B 的奖励模型，输入「prompt + 回答」，输出标量分数。
排序比打分可靠：人对「A 比 B 好」的判断一致率显著高于「给 A 打 8 分」。
阶段 3：PPO 强化学习
用奖励模型给新策略的输出打分，PPO 更新策略，同时用 KL 惩罚约束新策略不要偏离 SFT 模型：
objective = E[ r_θ(x,y) ] - β · KL( π_RL || π_SFT )论文中 β 的调节很关键：太大则学不动，太小则模型开始「刷分」，语言质量退化。
四、实验结果里容易被忽略的细节
- 对齐会带来「对齐税」：在部分传统 NLP 基准（如 SQuAD、DROP）上，InstructGPT 的表现略低于 GPT-3。作者承认这是用通用能力换可用性的代价，但指出通过增加 RLHF 数据可以缓解。
- 泛化到未见过的新指令：用 API 客户真实提交的 prompt 做测试（这些数据不参与训练），InstructGPT 仍然更受偏好，说明学到的是「遵循指令」这个抽象能力，不只是记住了训练集。
- 公开 NLP 基准与人类偏好不一致：论文明确指出，自动指标（BLEU、ROUGE）与人类偏好相关性很弱，评估必须用人的判断。这一点在今天的模型评测里依然是核心难题。
五、局限与后续
- 奖励模型是代理指标。它学到的是标注者的统计偏好，模型会找到「让 RM 打高分」的捷径，而不是真正让人满意——这就是 reward hacking。
- 标注者的价值观不等于用户。论文的标注团队规模有限，文化、语言、专业背景都会影响偏好分布。
- 对齐不能替代能力。InstructGPT 仍然会编造事实，只是编得更「像样」。事实性要靠 RAG、工具调用、校验来兜底。
后续演进：
- DPO（2023）把 PPO + RM 化简为直接偏好优化，降低工程门槛；
- RLAIF / Constitutional AI 用 AI 反馈替代部分人工标注；
- RLVR（2025）在有客观验证标准的任务上用「答案是否正确」作为奖励，绕开奖励模型，成为推理模型的主流训练方式。
六、对企业落地的启示
- 对齐数据是稀缺资产。业务专家的判断、话术、拒答边界，沉淀成偏好对比数据，比调模型结构更有价值。
- 三阶段不必全做。多数企业场景用「少量高质量 SFT + 规则约束 + RAG」就能达到可用状态，PPO 属于重投入。
- 评估要用业务口径。通用榜单分数和你的场景表现相关性很弱，必须建立自己的评估集与回归流程。
- 对齐有版本性。模型升级、业务规则调整后要重新校准，否则会出现「越升级越不听话」的错觉。
参考
- Ouyang, L., et al. Training language models to follow instructions with human feedback. 2022. arXiv:2203.02155
- Christiano, P., et al. Deep reinforcement learning from human preferences. 2017. arXiv:1706.03741
- Rafailov, R., et al. Direct Preference Optimization. 2023. arXiv:2305.18290