ElevenLabs 推出强制对齐模型 Cue，为 Scribe 转写提供逐字符时间轴

如果你曾在电视上看电影时遇到播出故障，演员的对白和字幕完全对不上，你就知道那有多让人分心，会把你从故事里拽出来。使用语音模型的视频和软件也有同样的问题：字幕晚出现一秒，或者转录文本高亮了错误的词，都会让人觉得同样糟糕。

“人类非常擅长对齐媒体内容，至少在词级别上是这样，”ElevenLabs 从事对齐研究的研究员 Danila Kozlov 说。“我们通常能本能地感觉到一个词从哪里开始，但在字符级别、亚毫秒精度上，这就难多了。” 

今天，ElevenLabs 推出 Cue，这是一个强制对齐模型，能把音频文件中的每个字符放到精确的时间线上。Cue 为 ElevenLabs 的 Scribe 模型系列提供支持，在真实录音上，它在基准测试的全部 29 种语言中都比 ElevenLabs 测试过的所有对齐器更准确。它还能单次处理任意长度的录音，并在不到一秒内对齐一小时的音频。 

什么是强制对齐？

想象有人递给你一段视频和一份转录文本，让你把每个词匹配到它被说出的时刻。这就是强制对齐。当你在 ElevenLabs 的转录文本中点击一个词、播放器跳到那个确切位置时，就是一个对齐器在做这项工作。

不过，强制对齐不同于更模糊的 AI 对齐概念。后者是关于设计 AI 系统，使其行为符合人们的价值体系和业务偏好。而强制对齐，我们说的只是把文本和声音对齐。

Cue 是语音转文字流程的最后一步。ElevenLabs 的 语音转文字模型 Scribe 负责转录音频，对齐器负责设定时间。每个 Scribe 请求都会经过它。同一个模型还为字幕、配音和音乐歌词时间轴提供支持，并且可以通过 Forced Alignment API 单独使用。

由于有这么多产品依赖它，对齐器必须在每种支持的语言中都精确、极快，并且能同时处理大量请求。

传统对齐器的不足

在新模型之前，团队构建了迄今为止用于所有 ElevenLabs 产品的对齐器模型。尽管它很强大，但他们知道可以做出更强的版本。Kozlov 加入后，他和团队开始采访客户和 ElevenLabs 内部用户，了解他们使用旧对齐器时遇到的困扰。他们的抱怨与团队测试的开源工具的局限相符。

长度是第一个主要问题。如今许多对齐器对约 30 秒长的片段效果很好，但更长的文件必须切成块。每个新块都可能增加一点时间误差，而拼接块与块之间的接缝又会增加更多误差。在完整录音上，Cue 的平均时间误差仅为 179 毫秒，而开源工具的范围从 283 毫秒到超过 6,000 毫秒。 

真实录制的音频更是挑战。背景噪音、重叠语音和环境音乐会让许多工具在将文本与音频匹配时失去位置。但这些正是许多人实际想要转录的文件类型，因为我们往往都生活在并非完全安静的地方。在有背景问题的英语录音上，Cue 的平均误差为 57 毫秒，而其他工具为 65 毫秒到 920 毫秒。

语言支持是另一个限制。大多数开源对齐器需要为所支持的每种语言单独训练一个模型，因此训练数据较少的语言往往表现不佳，或者根本不受支持。MMS-FA 是唯一另一个能处理全部 29 种基准语言的工具，相比之下，Cue 在判断词与词之间的边界时通常更快。

速度也是这些模型的一个问题，因为对齐大量音频很快就会变得昂贵。在我们的生产 GPU 上，Cue 可以在约半秒内对齐一小时的音频。第二快的工具 Qwen3-ForcedAligner 需要近 2 秒，而测试中最慢的工具则耗时超过一分钟。

Cue 有何不同

与大多数竞品不同，Cue 是一个单一模型，覆盖 90 多种基准语言。它还能一次处理任意长度的录音，从而避免了因分块而在长文件中累积计时误差的问题。

双指捏合或按住 Control 滚动可缩放。水平滑动或按住 Shift 滚动可平移。聚焦某个词后，使用加号和减号缩放，或按住 Shift 加左右方向键平移。

选择一个词以查看其字符

Kozlov 表示，尽管大多数模型在性能提升的同时变得更大，Cue 却比 ElevenLabs 之前的对齐器更小。它仍然运行在 GPU 上，但能在约半秒内对齐一小时的音频。 

团队围绕人们实际会上传的音频类型构建了 Cue。他们以之前的对齐器为基线，根据真实世界的请求创建了一个基准，并以相同方式为每个工具打分，将工具未能定位的任何词都计为错误。Cue 在字符级别工作，比大多数基准使用的词级标签更精细，因此这些分数很可能低估了它的精确度。

“在某个时刻你会达到人类能力的水平，”Kozlov 在谈到对齐器模型时说。“我们当前的对齐器已经超出了那个水平，因此要检查你是完全正确还是精确度有多高就变得困难得多，因为对此没有黄金基准。我们不得不用词级基准来评估一个字符级系统，这未必能展示 Cue 的全部潜力。”

Cue 的质量也反映了 ElevenLabs 能多快地响应用户反馈。Cue 推出后不久，一位客户提醒团队，格鲁吉亚语和其他几种资源较少的语言表现低于预期。ElevenLabs 让研究人员与使用其产品的团队和客户保持紧密联系，这意味着他们能够迅速发现问题、研究可能的模型改进、训练新版本的模型并发布——从客户首次提出问题算起，这一切都在不到 24 小时内完成。 

对齐歌曲

音乐很难处理，因为歌唱会拉伸和模糊词语，很少有模型能做好。团队没想到 Cue 能处理得这么好。Cue 能够对齐 Creative Commons 许可的 JamendoLyrics MultiLang 数据集中的一个子集歌曲。它能够用英语、法语、西班牙语和德语——一次完成——以惊人的准确度做到这一点。它将 92.7% 的词定位在标签的 0.3 秒以内，而第二好的工具为 82.0%。 

Cue 的平均起始误差为 0.82 秒，约为最接近竞争对手的一半。在 22 首歌曲中至少有 19 首上，它比其他所有工具都更准确。在新歌发布当天就能用它们唱卡拉 OK 的潜力是巨大的。 

立即试用 Cue

Cue 已经为 ElevenLabs 上的每一次 Speech to Text 转写提供支持。要直接使用它，请试用 Forced Alignment API。

致谢

ElevenLabs 对齐器模型的工作离不开公司许多人的支持。团队希望感谢所有参与该模型旧版本和新版本工作的人员，包括联合创始人兼 CTO Piotr Dąbkowski，研究员 Danila Kozlov、Luca Lanzendörfer、Flavio Schneider、Max Levi、Tim von Känel 和 Angelos Perivolaropoulos；以及数据运营部门的 Ani Janelidze、我们的前向部署工程师和支持团队；还有 Lorenzo Dossi 为本博客可视化所做的工作。