Sierra 发布 𝜏-Entity 基准，评测语音智能体能否准确记录姓名电话邮箱

语音智能体能够处理日益复杂的对话，但有时导致通话失败的却是一些简单的问题：把姓名、电话号码或电子邮件地址弄对。我们在 𝜏-Voice 中反复看到这一瓶颈：智能体弄错一个细节，还没能提供帮助就认证失败了。

今天我们推出 𝜏-Entity，这是一个基准测试，用于衡量智能体能否正确捕获细节、识别出细节可能有误，并修复错误。

𝜏-Entity 在十种实体类型（包括姓名、电话号码、地址和电子邮件）的 200 项任务上测试语音智能体。每通电话聚焦于单个字段，来电者配合度高，在被要求时会准确拼写。大多数通话耗时不到两分钟。

即使在这种简单的设定下，当今的语音智能体也难以把细节弄对。

基准测试内部

每项任务都从一个缺失的值开始。智能体必须向来电者询问该值并正确提交。成功要求存储的值与期望值完全一致。我们改变了三件事：值本身的难度、来电者的行为（如纠正和重新开始）以及音频环境。

然后我们测量 Pass³：智能体能否在常规、高噪声和高语音条件下成功完成同一任务。

这让我们能够区分两个问题：智能体能否捕获该值？以及随着条件变化，它能否可靠地做到这一点？

当前智能体的得分

在汇集全部六种 𝜏-i18n 语言的 𝜏-Entity 排行榜上，GPT Live 1 领先：它在 60.3% 的常规通话中正确捕获了值，但仅在 34.0% 的任务中在全部三种条件下都成功。Gemini 3.8 Live 和 Grok Voice Think Fast 2.0 在常规条件下分别达到 43.8% 和 44.2%，在全部三种条件下则降至 19.5% 和 24.0%。

仅英语更容易：GPT Live 1 在常规通话中达到 74.0%，在全部三种条件下达到 47.5%。西班牙语、葡萄牙语和印地语与英语接近，对 Gemini 和 Grok 而言得分还高于英语，但韩语的 Pass³ 降至 3.5–8.5%，普通话在各智能体上降至 12.5–24.5%。

知道何时放慢速度

当人们不确定自己是否听清时，他们会放慢速度、请对方重复、拼写姓名或确认所听到的内容。智能体只识别出部分需要放慢速度的理由，而漏掉了其他理由。

在 𝜏-Elicitation 论文中，我们将验证努力程度衡量为智能体在通话中进行复述和请求拼写的次数，然后比较了该行为在熟悉与不熟悉实体、简单与困难值、嘈杂与干净环境以及不同来电者声音下的表现。

该研究中的智能体对某些类型的难度做出了适应：在各系统中，它们对困难和陌生实体进行了更仔细的验证。但只有 Grok 在噪声下进行了更多验证，且没有任何系统对它最难应对的来电者声音投入更多验证努力。

换句话说，智能体识别出了一些警示信号，但并不能可靠地适应所有信号。

再次询问只是解决方案的一部分

在论文中，我们还测试了规定验证策略能否弥合差距。规定的顺序是：询问，让来电者拼写该值或复述，确认并纠正，然后提交。

当智能体自行选择验证策略时，在全部三种条件下，只有 14–41% 的任务成功。规定的顺序将这一比例提升至 37–54%，具体提升幅度取决于配置，为 14–31 个百分点。但额外的谨慎需要付出时间代价：每次调用会多花 21–28 秒。

即使智能体意识到自己可能出错，也不保证能恢复。在论文的行为分析中，智能体验证的初始错误捕获中只有 24–37% 最终被纠正。有时智能体会重复同样的错误。另一些时候，它会用一个新的错误值替换原来的值。只有当智能体能正确采纳答案时，追问才有用。

当一次调用需要多个字段时，错误也会累积。在论文的多字段研究中，尽管单个字段的准确率仍为 75%，三字段调用的成功率只有 53%。在针对相同多字段任务的另一项对比中，验证每个字段并允许重试将成功率从 64% 提升到 82%。由于该干预措施结合了验证和重试，我们无法分离出各自贡献了多少。

方向是明确的：可靠的语音智能体需要识别不确定性、验证正确的内容，并在错误发生时真正修复错误。

现状

这些结果指向两个机会：更好地决定何时以及如何验证，以及在出错时进行更可靠的纠正。只有当智能体能利用答案来纠正其捕获的内容时，追问才有帮助。

这并不意味着每次交互都需要尽可能长的验证过程。规定的验证提高了可靠性，但花费更多时间。挑战在于知道何时需要这种额外努力，并让它发挥作用。

𝜏-Entity 提供受控任务，用于衡量跨实体类型、呼叫者行为和环境方面的进展。我们与 𝜏-i18n 一同推出它，它已经覆盖相同的六种语言。

感谢 Mercor 的 Victor Barres 的合作。