Sierra 推出 𝜏-i18n 多语言语音智能体评测基准

在我们早先的 𝜏-Voice 实验中，口音在我们测试的各项因素中造成了任务完成率的最大平均降幅。这引出了一个更广泛的问题：语音智能体对其他语言的来电者效果如何？

今天我们推出 𝜏-i18n （读作 tau-internationalization），它将 𝜏-Voice 扩展到另外五种语言：西班牙语、巴西葡萄牙语、印地语、韩语和普通话。

𝜏-i18n 在不同语言中使用相同的航空、零售和电信任务。任务、政策、工具和成功标准保持不变，使我们能够跨语言比较性能。

从国际化到本地化

国际化是让产品适应不同语言和地区的基础工作。本地化则是使其适配某一特定语言和地区的工作。在客户服务中，这可能涉及姓名、日期、货币、产品术语和当地惯例。语音又增加了一层：发音、语码转换、称呼方式，以及人们轮流对话的方式。

完成任务只是一通良好通话的一部分。对话还必须听起来地道，甚至达到 Clay Bavor 所说的“不合理的本地化”程度。在印地语中，使用女声的智能体可能会说 “मैं आपकी मदद कर सकता हूँ” 而不是 “मैं आपकी मदद कर सकती हूँ”，用阳性形式指代自己。在普通话中，智能体可能会说 “执行取消操作”，而真人只会说 “帮您取消”。两者都能表达意思，但听起来都不太对。

我们围绕语言包构建了 𝜏-i18n，让母语者可以为每个地区定义这些选择。语言包会调整来电者身份及匹配的数据库记录、人设、语音、言语习惯和评估规则，同时保持底层服务任务不变。例如，韩国和普通话来电者通常先报姓氏。如果智能体将最先说出的名字放入名字字段，即使它正确听到了名字，也可能无法通过身份验证。

超越任务完成

任务完成告诉我们智能体是否实现了来电者的目标。它并不告诉我们通话进行得如何。𝜏-i18n 报告另外两项指标：

• 交互衡量智能体是否有效地参与对话。它是否在正确的时间回应或让出话轮？它是否避免打断和长篇独白？它能否判断出附和语（“嗯哼”）或零散声音不需要回应？我们把最后这项技能称为选择性。交互还衡量工具使用效率，包括智能体是否以正确的参数调用工具，以及是否避免由智能体导致的错误。
• 生成质量衡量来电者实际听到的内容。自然度捕捉翻译腔、语法性别错误、不恰当的语域和遗漏的敬语。语音保真度衡量音频是否准确传达预期的词语、姓名和数字。

我们分别报告这些结果，因为智能体可能完成了任务，但在交互或语言本身方面仍有不足。

智能体在哪里失分

在 𝜏-i18n 排行榜上的三个语音智能体和 2,700 通主要通话中，我们看到任务完成、交互和生成质量方面存在显著差异。性能也因语言而异，差异相当大。

在任务完成率上，西班牙语、印地语和葡萄牙语平均分别落后英语 2.4、3.8 和 6.4 个百分点。韩语和普通话尽管执行相同的任务，却分别落后 22.6 和 9.1 个百分点，而韩语是三个智能体中表现最弱的语言。

交互环节则暴露出另一组弱点。对每个智能体而言，韩语和普通话通话中的工具调用失败最多。响应能力是常见的失败点：GPT Live 1 和 Gemini 3.8 Live 在超过 80% 的通话中出现漏接来电方话轮、回复迟缓或未能让出话轮的情况，而 Grok Voice Think Fast 2.0 的这一比例为 16%。选择性同样薄弱：在 26–60% 的通话中，智能体对附和语、口头语或并非针对它的语音做出超过三次回应。

在生成质量方面，GPT Live 1 在任务完成率（79.9%）和生成质量（63.4%）上均领先。Grok Voice Think Fast 2.0 以 52.6% 领先交互指标，但生成质量仅得 17.7%。响应最快的智能体未必是说话最自然的。

为基准测试引入更多语言和地区

这五项新增只是一个起点。我们已开源我们的代码库以及 LanguageFactory——语言包背后的框架，以便母语者、研究人员和语言社区能够将 𝜏-i18n 适配到更多语言和地区。

贡献者将能够构建具有代表性的来电者、审阅语音和示例对话，并定义评估智能体时应遵循的规范。

如果缺少你的语言或地区，我们非常希望你能帮助将其引入 𝜏-i18n。

本文代表 Sierra 的 Edgard dos Santos Paiva、Ruben Valenzuela 和 Keshav Dhandhania，普林斯顿大学的 Karthik Narasimhan 以及 Mercor 的 Victor Barres 的工作。