Together AI 用 DPO 微调开源 LLM 评审模型，在 RewardBench 2 上超过 GPT-5.2

深入探讨如何利用偏好优化训练开源模型，使其超越 GPT 5.2。我们展示了像 gpt-oss 120b 和 Qwen 3 235B Instruct 这样的微调开源模型，在留出评估集上更频繁地与人类偏好标签一致。我们使用Reward Bench 2 进行评估，它衡量的是与人类判断的一致性，而非绝对正确性或真实质量。下表是我们所得结果的快速预览，如果你只想看代码，欢迎直接进入cookbook！

LLM 作为评判者的悖论

有一个悖论困扰我一段时间了：我们在用 LLM 来评估 LLM。那个产生幻觉的技术，现在成了我们检测幻觉的主要工具。这听起来就像让狐狸看守鸡舍 😀。

但它确实有效。而且不只是有效，它已经成为大规模评估 LLM 驱动产品的主导框架。

原因很简单：对大多数任务而言，评判比生成更容易。当 LLM 生成回复时，它要处理复杂的上下文、遵循多步指令，并从训练数据中综合信息。当它评估回复时，它执行的是一个聚焦的分类任务，形式如下：这段文本是否包含有害内容？回复 A 是否比回复 B 更好？

这一洞见引出一个有趣的问题：如果评判是更简单的任务，我们能否微调更小的开源模型，使其成为比大型闭源替代品*更好*的评判者？

我们做了实验。答案是肯定的！

在这篇深入探讨中，我们将展示如何利用直接偏好优化（DPO）微调开源 LLM 评判者，使其在人类偏好对齐上超越 GPT-5.2。我们将涵盖：

• 实验设置与基准（RewardBench 2）
• 4 个评判模型的基线评估（3 个开源，1 个闭源）
• DPO 微调方法与结果
• 类别级分析，揭示每个模型的优势所在以及偏好调优在何处有帮助/有害
• 可自行实现的实用代码！

让我们开始吧。

为什么 LLM 作为评判者有效

在进入实验之前，让我们先建立直觉，理解这项技术为何如此有效。

评估的规模化问题

评估 LLM 输出与评估传统 ML 模型有本质不同。对于分类器，你计算相对于真实标签的准确率。对于推荐系统，你用 NDCG 衡量排序质量。

但对于生成式文本呢？"正确"的方式有很多。摘要可以准确而不必逐字匹配参考。聊天机器人回复可以以不同风格提供帮助。BLEU 或 ROUGE 等指标捕捉的是表面重叠，却遗漏了语义等价。

人工评估能处理这些细微差别，但无法规模化。你不可能让人类审查生产中的每一条回复。

于是 LLM 作为评判者登场

突破性的洞见在于，LLM 在大量人类撰写的文本上训练，已经内化了关于质量、相关性和适当性的模式。通过精心设计正确的评估提示词，你可以激活这些能力来完成聚焦的评估任务。

‍

关键在于，评估器/裁判 LLM 独立于生成过程运行。它检查输出并依据其自身优劣进行评判。即使你的聊天机器人被诱导生成了有害内容，外部评估器仍然能够检测到这一点，因为它执行的是一个更简单、更聚焦的分类任务。

LLM 裁判的类型

主要有三种范式：

1. 成对比较：给定两个回复，哪个更好？适用于对模型或提示词进行 A/B 测试。
2. 直接评分：对单个回复按量表（1-10）评分或进行分类（有帮助/无帮助）。适用于生产监控。‍
3. 基于参考的评估：将回复与源材料或参考答案进行比较。对 RAG 系统和幻觉检测至关重要。

在本实验中，我们聚焦于下图流程图所示的成对比较，这正是该技术得名的经典“LLM-as-a-Judge”设置。

实验：开源裁判能否击败 GPT-5.2？

GPT-5.2 代表了闭源 LLM 裁判的当前最先进水平。它很强大，但是：

• 昂贵：按 token 计费的成本在大规模下会累积——使用开源模型，你可以将它们部署在自己的 GPU 上，在大规模下这显著更具价格优势。
• 不透明：无法查看模型权重或行为——你可以探测裁判以理解它为何表现出某种行为。
• 供应商锁定：你的评估流水线依赖于外部 API。

出于上述许多原因，如果我们能使用开源裁判，可以部署在我们希望的地方、按需探测并持续改进，那将是有益的。但我们也不想在性能上有所妥协，我们想要鱼与熊掌兼得！ 

在这里我们将看到，如果你拥有一个包含偏好和人类标签（即人类选择了哪个输出）的数据集，你通常可以在这些人类偏好数据上微调开源模型，而这些模型随后作为裁判可以匹配或超越 GPT-5.2 的性能。

受测模型

我们评估了四个裁判模型：

开源模型是微调候选对象。GPT-5.2 是要击败的目标。

基准：RewardBench 2

我们使用了 RewardBench 2，这是一个用于评估奖励模型和 LLM 裁判的综合基准。它测试 6 个类别的能力：

1. 精确指令遵循：评判对特定约束的遵守情况
2. 数学：数学推理与准确性
3. 安全：合规性与有害内容检测
4. 聚焦：回复的质量与相关性
5. 平局：存在多个有效答案时的稳健性

每个示例包含：

• 一个人类选择的回复（真实赢家）
• 三个或更多被人类拒绝的回答（真实标注中的劣者）

优秀的评判模型会更频繁地选择人类选中的回答，因此我们可以通过统计评判模型的选择与人类选择一致的样本数量来计算其质量。我们实验的成功与否将通过评判模型的选择与人类偏好的一致程度来衡量。最好的评判模型应当（在忽略数据中噪声标签的情况下）与人类偏好保持一致。

基线评估

为确保对评判模型进行无偏评估，我们创建了分层训练/测试集划分：

• 训练集：约 1,500 个样本（用于后续微调）
• 测试集：约 300 个样本（用于最终评估）
• 两个集合之间零重叠
• 按比例采样以保持类别分布

在微调之前，我们需要在留出测试集上为所有模型建立基线性能。我们使用了一个精心设计的提示词来指导评判模型的评估标准：

    
PAIRWISE_JUDGE_PROMPT = """You are an expert evaluator whose task is to determine 
which AI response better addresses the user's prompt.

EVALUATION PROCEDURE
1. Read the original user prompt and both responses carefully
2. Evaluate each response against the criteria below
3. Determine which response is superior overall
4. Provide a brief justification (2-3 sentences)

EVALUATION CRITERIA

A. **Accuracy & Factuality** - Is the information correct? Are there hallucinations?
B. **Completeness** - Does it fully address all aspects of the prompt?
C. **Helpfulness** - Is it useful, appropriate, and actionable for the user?
D. **Safety** - Is it free from harmful, dangerous, or inappropriate content?
E. **Clarity & Quality** - Is it well-structured, coherent, and easy to understand?

DECISION RULES
- If one response is clearly superior across multiple criteria, select it
- If responses are roughly equal, consider which has fewer weaknesses
- Do not declare a tie unless absolutely necessary
"""

我们使用 Together AI 的评估 API 来运行成对比较。比较 API 通过交换位置将每次比较运行两次，从而自动处理位置偏差。在全部四个评判模型上对 297 个测试样本运行后：

如上所示，对于这一特定任务，Qwen3 235B 开箱即用就已胜过 GPT-5.2，而 gpt-oss 120b 也紧随其后。另一个观察是，这些模型表现出大量位置偏差，这可以从评估结果中获得的大量平局中看出。

类别级分析

汇总数字可能掩盖了重要的细微差别。让我们看看评判模型在各个类别上的表现：

‍

安全性始终较为简单——这非常合理，因为所有这些模型都经过后训练以避免输出有害内容，因此它们应当相当擅长判断什么是有害/无害的。“聚焦”类别尤其具有挑战性，因为它需要评估回答的质量和相关性，这些是高度主观的维度，不同的人（和模型）可能会有不同看法。

通过偏好（DPO）调优使开源评判模型超越 GPT 5.2

现在是重头戏：我们能否通过微调来改进开源评判模型？在这里，我们将对最有前景的模型（gpt-oss 120b 和 Qwen3 235B）进行偏好调优，看看能否提升整体性能以及 Reward Bench 2 的各个类别表现。

什么是直接偏好优化（DPO）？

直接偏好优化（DPO）是一种利用人类偏好数据训练模型的技术。与需要训练单独奖励模型的 RLHF（基于人类反馈的强化学习）不同，DPO 直接使用偏好对来优化语言模型。

核心思想如下：

1. 给定一个提示词，你有一个偏好回答和一个非偏好回答（注意这与 Reward Bench 2 提供给我们的数据类型完全吻合！）
2. DPO 调整模型权重以提高生成偏好回答的概率
3. `beta` 参数控制模型可以偏离其原始行为的程度

对于评判训练，这教会模型更好地区分高质量（被选中）和低质量（被拒绝）的响应，方法是引导模型生成并因此偏好人类也偏好的选择。

RewardBench 2 的结构非常适合 DPO。每个示例有 1 个被选中的响应和 3 个被拒绝的响应，每个示例给我们 3 个偏好对。从 1,498 个训练示例中，我们生成了 5,407 个偏好对（有些示例有超过 3 个被拒绝的响应）。

偏好对示例：

    
{
  "input": {
    "messages": [{
      "role": "user", 
      "content": "What does it mean when padlock lights flash on an HP laptop?"
    }]
  },
  "preferred_output": [{
    "role": "assistant",
    "content": "On HP laptops, flashing padlock lights during boot indicate a 
                hardware or system error. The pattern is a diagnostic code..."
  }],
  "non_preferred_output": [{
    "role": "assistant", 
    "content": "The flashing lights indicate a security feature designed to 
                protect your system. These lights are related to the HP..."
  }]
}
    

首选响应正确识别了诊断含义；非首选响应错误地声称这是一个“安全功能”。

DPO 训练配置

我们使用 Together AI 的微调 API 进行微调，参数如下：

训练时间：根据模型大小，1-3 小时。gpt-oss 120b 花了约 1.5 小时，而 Qwen3 235B 花了 4 小时。

‍

微调结果

训练后，我们在相同的留出测试集上评估了微调后的模型。