文章以 InstructGPT 与 GPT-3 的对比切入，解释预训练只教模型猜下一个词，后训练则用规模小得多的精心数据把基座模型调成有用助手。后训练包含指令微调（跟示范学）、偏好对齐（RLHF/PPO 与 DPO，靠比较学，并用 KL 惩罚约束）和 RLVR（用可验证检查器判对错）三种技术。文中提到仅混入 500 条安全示例即可明显减少有害回答。