定位并消减LLM套话风格的研究

2026年10月15日，有研究者在 r/MachineLearning 发布一项研究，追踪 LLM 可识别助手风格（破折号、“不是X而是Y”、三项列表、流行词等套话）在模型中的来源及训练阶段。作者在 Qwen3-4B-Instruct 上用均值差方向区分夸张与平实写作，该方向与套话评分相关性最高达 0.82，且逐套话方向具有跨语言性。在 OLMo 2 1B 上逐阶段测量发现，SFT 引入修辞结构，DPO 通过流行词和 markdown 格式使套话评分翻倍，其偏好数据中 3000 对里有 57% 更倾向套话回复。作者称将该方向蒸馏为 rank-16 LoRA 后，在无系统提示下套话评分降低 83%，KL 低于直接引导，且小型 QA 检查无下降。作者同时说明，套话评分器为自建正则检测器，主要结果基于一个 4B 模型加 OLMo 2 1B，尚无人工评估。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。