Together AI 推出面向实时语音 Agent 的低延迟推理服务

语音界面是真正 AI 原生应用的标志之一。从转录到语音转代码，再到外呼与定制播客，语音让应用更具吸引力且更高效。但开发者往往不得不拼凑多个专用语音服务才能交付一个语音应用。这通常会拖慢开发速度，同时增加复杂性、延迟和成本。

我们很高兴地宣布，我们的云平台新增了一大批大幅扩展的高性能、低延迟语音基础设施。我们努力提供前沿质量、开发者友好且延迟极低的语音服务。

借助这些新增功能，我们已将语音产品从转录扩展为一整套构建模块，可支撑应用语音管道的部分或全部环节。这些服务以开发者友好的无服务器和专用形态，支持实时与批处理模式。

‍面向语音代理的流式语音转文本

流式 Whisper

传统的批处理转录需要等待完整的音频文件。语音代理需要在语音到达时即进行处理，并智能检测用户何时结束说话。

我们通过将优化的模型推理与智能系统设计相结合，打造了业界最快的语音转文本 API——WebSocket 流式传输消除连接开销、精心调校的语音活动检测（VAD），以及专为实时音频处理构建的基础设施。结果：Whisper 以最低的质量损失实时运行，完成转录的速度比替代方案快达 35%。

关键在于针对完成转录所需时间进行优化，而不仅仅是首个 token 的时间。语音代理需要精确知道用户何时停止说话，以便开始构思回复。我们的 VAD 调校确保你的代理在正确的时刻响应，既不会太早（打断用户），也不会太晚（造成冷场）。

流式 WHISPER

你的浏览器不支持 video 标签。

以业界领先的延迟进行实时转录。精心调校的语音活动检测，带来自然的对话流畅度。

文本转语音：无服务器开源模型

Together AI 是首个提供无服务器开源文本转语音模型的云平台。无需再为偶发的 TTS 需求启动专用实例——两个模型均可通过 REST API 进行批量生成，并通过 WebSocket API 进行实时流式传输。

Orpheus TTS：自然的语音质量

Orpheus 提供自然、富有表现力的语音，并具备多种适合面向客户应用的音色选项。其首字节时间为 187ms，超越高端提供商，同时接近更轻量模型的速度。结果：在不牺牲语音代理所需响应速度的前提下，获得专业级语音质量。

ORPHEUS TTS

你的浏览器不支持 video 标签。

高保真语音生成，具备自然的韵律。平均首字节时间 187ms——比高端专有提供商更快。

Kokoro TTS

当每一毫秒都至关重要时，Kokoro 能胜任。其基线 TTFB 为 97ms，专为响应速度高于一切的应用而构建。这种可预测的性能使其成为成本和延迟至关重要的大规模语音代理部署的理想选择。

KOKORO TTS

您的浏览器不支持视频标签。

超高速生产级语音。首字节延迟 97ms——比替代方案快 2 倍以上，且在高负载下性能稳定。

全新音频转录

两项新能力为批处理工作流扩展了我们的音频转录 API：

Voxtral Mini

Voxtral Mini 是来自 Mistral AI 的高精度转录模型，针对欧洲语言和具有挑战性的音频条件进行了优化。Voxtral 的词错误率显著低于标准 Whisper——非常适合转录错误会带来责任或运营开销的应用场景。

VOXTRAL

您的浏览器不支持视频标签。

针对欧洲语言和具有挑战性的音频条件优化的高级多语言转录，词错误率显著更低。

说话人分离

自动识别并标记录制音频中的不同说话人。将原始转录转换为结构化对话，显示谁在何时说了什么——这对于会议转录、呼叫中心质量保证和多方可对话回顾至关重要。

为生产级语音智能体而构建

三项架构决策使 Together AI 的音频基础设施特别适合生产级语音智能体：

延迟：实现自然对话的响应时间

人类对话以特定节奏流动。超过 500ms 的响应会显得不自然。超过 2 秒，用户会认为系统已失败。每增加 100ms 延迟，都会可测量地降低用户满意度和任务完成率。

我们的基础设施在每一层消除不必要的延迟。WebSocket 连接保持活跃，避免 TCP 握手开销。模型运行在与您的 LLM 相同的 GPU 集群上，消除跨提供商网络。最关键的是，我们优化的服务即使在流量高峰期间也能提供稳定的低于 200ms 的 TTS 和毫秒级精确的转录。

现实影响：当客户致电更改航班时，每一秒的延迟都会增加他们挂断电话的可能性。语音智能体必须捕捉他们的请求、处理请求并开始响应——所有这些都要在人类对话的自然节奏内完成。

质量：准确的转录和听起来自然的语音

当转录错误在对话中级联传播时，语音智能体会失败。听错的账号会变成失败的查询。乱码的产品名称会触发错误的工作流。无论底层智能如何，糟糕的语音质量会立即传递出“廉价自动化”的信号。

这就是我们提供多个质量层级的原因。流式 Whisper 以足以进行自然对话的准确度处理实时转录。当精确性至关重要时——法律证词、医疗咨询、金融交易——Voxtral 的卓越准确度足以证明其溢价定价的合理性。在输出方面，Orpheus 提供用户期望从专业服务中获得的自然、富有表现力的声音，而 Kokoro 为高容量信息用例提供清晰、高效的语音。

以医疗保健调度机器人为例：它必须准确捕捉药物名称、理解带口音的语音，并以适当的同理心回应。任何一层的质量失败都会破坏用户信任，并迫使进行昂贵的人工升级。

规模：生产负载下的一致性能

在演示中表现良好、但在生产负载下失效的语音基础设施会带来信任问题。在高峰时段经历过服务降级的用户会学会完全避开该系统。

我们的基础设施在负载扩展时仍能保持性能。我们在 WebSocket 实现中的一项独特优化允许通过单个连接多路复用多个对话——这对于处理数百个同时通话的联络中心软件等平台至关重要。无需管理数千个单独的 WebSocket 连接（及其相关的内存和网络开销），您就可以通过共享连接高效地路由多个隔离的音频流。

这种相同的扩展方法贯穿我们的整个技术栈。地理分布确保无论用户身处何地都能获得低延迟。自动扩展无需人工干预即可应对流量高峰。结果是：语音智能体在处理 10 个还是 10,000 个并发对话时表现完全一致。

立即试用

	  
    from together import Together
    import asyncio

    client = Together()

    async def handle_conversation():
        # Listen to user input
        transcription = client.audio.transcriptions.create(
            model="whisper-large-v3",
            file=audio_stream,
            language="en"
        )
        
        # Generate response while monitoring for interruptions
        async with client.audio.speech.create(
            model="canopylabs/orpheus-3b-0.1-ft",
            input="I can help with that-",
            voice="tara"
        ) as tts:
            
            audio_playback = asyncio.create_task(play_audio(tts))
            
            # Simultaneously monitor for user interruptions
            async for chunk in transcription:
                if "wait" in chunk.text.lower() or "actually" in chunk.text.lower():
                    audio_playback.cancel()
                    # Adapt to new user input
                    break

开始使用：

Playground：在构建之前测试音频模型
语音转文本文档：完整的转录 API 参考
文本转语音文档：完整的语音生成 API 参考
模型库：完整的模型规格

用于生产部署：
联系我们的销售团队，了解企业选项和专用基础设施。