研究提示反馈对事后自蒸馏的影响

2026年10月29日，有作者在r/MachineLearning发布研究，考察事后自蒸馏中提示反馈的作用。该研究在GPT-OSS-20B上进行多步金融推理的事后自蒸馏：学生模型找出自己第一个错误步骤并写出批评，冻结副本在反向KL下蒸馏回学生。报道称，把批评替换成一句固定的通用反馈，也能达到约3个点的完整增益；用大6倍模型生成的批评并未实质提升表现；Fin-SD比使用完整参考解的OPSD少用9.5% token。上述结果均针对该研究设定的GPT-OSS-20B多步金融推理场景，报道未说明其是否适用于其他模型或任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。