Hugging Face 与 .txt 用结构化生成提升提示词一致性

Hugging Face 排行榜与评测团队发现，同一 MMLU 任务仅改变提示词格式，5 个模型的得分波动约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%，模型排名也随之改变。为此他们与 .txt 合作，尝试用 Outlines 库的结构化生成约束模型输出，以减少提示词格式带来的评测方差。