文章用煮鸡蛋的例子拆解 KL 散度：先算每个答案的新旧概率比，再取对数，最后按新模型的概率加权平均，得到衡量模型相对参考模型偏移程度的单一数值。KL 在 post-training 中用作 RL 训练偏离参考模型的代价，因为奖励模型只在训练过的答案附近可信。文章还讨论了 KL 非负的原因、局限以及在真实模型上的估计方法。