Sierra 发布 𝜏³-Bench，新增知识与语音智能体评测

自2024年6月推出以来，𝜏-Bench 已成为研究人员、模型构建者和使用 AI 的企业的事实标准。它测试的是某种易于演示却难以衡量的东西：模型能否可靠地帮助某人从头到尾完成一项任务。

今天，我们发布 𝜏³-Bench，从几个重要方面扩展了该基准：

• 𝜏-Knowledge 测试智能体能否在分散于各系统和格式的大量公司内部文档集合上进行操作；
• 𝜏-Voice 评估为实时语音对话而构建的智能体；以及
• 我们还纳入了 𝜏-Bench 社区针对现有 𝜏-Bench 领域贡献的修复，以提高评估准确性。

这些扩展源于我们在 Sierra 构建和部署智能体的经验，指向我们所认为的下一个前沿——并为社区提供了一种衡量相关进展的共享方式。

𝜏-Knowledge：在杂乱、不断演变的知识库上评估智能体

大多数智能体基准会把模型所需的一切预先提供给它。但在现实世界中，智能体需要浏览许多不同的公司文档才能成功：内部政策手册、产品目录和标准操作流程。这些信息是非结构化的、不断变化的、分散在多个来源中，并且充满内部术语——这使得简单的搜索并不可靠。

为了测试这一点，𝜏-Knowledge 引入了 𝜏-Banking，这是一个受金融科技启发的客户支持领域，围绕一个由 698 份文档、涵盖 21 个产品类别（约 195K tokens）的真实知识库构建。任务要求智能体搜索该语料库、对找到的内容进行推理，并执行多步骤工具调用——通常需要识别仅在文档中提及而非明确列出的工具。例如，解决一笔争议交易可能需要智能体在多个文档中定位正确的争议政策、推断适当的临时信用工作流、冻结卡片、发起争议并发放临时信用——所有这些都必须按正确顺序完成。

𝜏-Knowledge 不假定只有一种查找信息的方法。它支持关键词搜索、基于嵌入的检索、将知识库大部分内容直接提供给模型的长上下文方法，甚至通过终端风格命令进行直接文件探索。这使其能够评估新的检索方法，而不仅仅是标准的语义搜索。任务成功与否取决于是否对模拟后端数据库做出了正确的更新——例如是否发起了争议、冻结了卡片或发放了信用——而不是取决于对话听起来多么精炼或令人信服。

结果令人震惊。最好的前沿模型——采用高推理强度的 GPT-5.2——在约 25% 的任务上取得成功。即使我们提供完成任务所需的确切文档，性能也仅提升至 40%。这表明瓶颈不仅在于找到正确的信息——还在于理解它、得出正确结论并执行所需操作。

我们还观察到，知识库的访问方式会带来显著差异。当模型能够以灵活、自由的形式访问知识库（例如通过终端）时，其表现优于被限制在传统语义搜索中的情况。但这种额外的灵活性是有代价的：使用更结构化的检索方法时，智能体的响应速度可以显著更快。

当我们观察可靠性和效率时，这些模式会更加清晰地显现出来。有些模型能达到相似的准确率，但所需时间却长达九倍，而另一些整体得分较低的模型在重复试验中却表现得更加稳定。在面向人类的部署中，这种效率差距至关重要：需要更多轮次、更多搜索和更多工具调用的智能体不仅成本更高，而且对用户来说感觉更慢、更不可信。

论文 | 排行榜 | Tau-Knowledge 报告

𝜏-Voice：在真实语音条件下评估智能体

语音正迅速成为我们与智能体交互的默认方式，但自然对话带来的挑战与基于文本的聊天完全不同。你会打断对方。你会在对方还在说话时说“嗯哼”。你会在句子说到一半时改变主意。

真实对话是全双工的——双方同时说话和倾听——而且很混乱。语音智能体需要在完成实际任务的同时处理所有这些情况：查询订单、更新账户、预订航班。如今的基准测试孤立地测试这些技能。没有一个能衡量语音智能体能否在真实条件下同时做到这两点。

𝜏-Voice 将 𝜏-Bench 扩展到具有复杂轮次转换动态的实时语音交互。它模拟的不是安静房间里的清晰音频，而是智能体实际可能接到的电话：一位带口音的用户从嘈杂的咖啡店打来，网络不稳定，通过压缩的电话线路通话。失败是可预测的，但很难修复。用户拼出一个确认码，智能体听错了一个字母——认证失败。用户说“是”以确认取消，但声音被背景噪音淹没，于是智能体一遍又一遍地询问。网络波动在句子中间丢了几帧，智能体就幻觉出了剩余内容。

轮次转换是挑战的另一半。我们模拟的用户不会被动等待智能体说完。他们在听够了之后会插话，在智能体犹豫时会催促——所有这些都由可配置参数控制，包括呼叫者有多耐心、多爱打断或多厌恶沉默。

我们对三家高度匹配的语音提供商进行了基准测试——OpenAI Realtime、Google Gemini Live 和 xAI Grok Voice。核心比较是非推理文本模型与真实条件下的语音智能体：在理想条件下（无打断或音频效果），最好的语音智能体接近非推理文本模型（约 54% 对 31–51% 的清晰语音），但一旦引入真实音频和轮次转换，差距就会大幅扩大（约 54% 对 26–38% 的真实语音）。具备推理能力的文本智能体达到约 85%，要缩小这一差距，需要智能体能够在维持流畅对话的同时对多步骤任务进行推理，而不仅仅是在回复前思考更久。

问题出在哪里？各提供商的失败模式是一致的：认证是瓶颈——一旦智能体听错了名字或电子邮件，下游的一切都会失败。除了转录之外，智能体会丢失多步骤请求的线索，完成任务的某一部分却忘记了其余部分，或者永远无法从反复失败中恢复。

我们发布 𝜏-Voice 不仅作为一个基准测试，更作为一个评估语音智能体的平台——因为实验室条件与真实通话之间的差距正是最困难问题所在之处。

论文 | 排行榜 | 示例

加强 𝜏-Bench 核心领域

除了新增领域之外，我们还对原始 𝜏-Bench 的航空、零售和电信任务纳入了一系列由社区驱动的修复。其中许多修订直接来自外部审计——尤其是来自 Amazon 的 𝜏²-Bench Verified 工作——以及社区拉取请求，包括来自 Anthropic 的若干请求。这些更新修正了错误的预期操作和歧义，并收紧了评估标准，以更好地反映真实策略和系统行为。更多内容请参阅详细说明。

与当今智能体现实相匹配的评估基准

随着智能体成为客户体验的日常组成部分，基准测试必须衡量比干净演示更多的东西。𝜏³-Bench 在最可能出问题的真实世界条件下测试智能体——不仅是为了暴露其缺陷，更是为了帮助社区构建具有真实世界可靠性的智能体。