作者以 Qwen3-0.6B 为例拆解 reward model 的训练过程，说明标注者二选一的偏好数据如何经 Bradley-Terry 模型变成分数，损失为 −log σ(r_chosen − r_rejected)。