Sarvam AI 发布 Bulbul V4 Flash 语音合成模型

推出
Bulbul V4 Flash

Bulbul V4 Flash

0:00 / 0:00

今天，我们推出 Bulbul V4 Flash，这是我们最新的文本转语音模型，为印度各语言带来更自然、更富表现力的语音，同时具备实时应用所需的速度和效率。

在 V4 Flash 中，我们的研究聚焦于捕捉印度语言的丰富性和细微差别，同时让高质量语音生成变得更快、更经济。

我们在印度各语言的富有表现力语音生成方式上取得了实质性改进。该模型更擅长捕捉情感、调整重音、控制句子节奏，并回应所讲内容的语境。我们专注于在印度语言的广度上带来更深的层次感和表现力，保留每种语言的独特特征，以及让语音对其使用者而言听起来自然的那些微妙之处。

除了语音质量的提升，我们还开发了一个更小、更高效的模型，并围绕它优化了推理栈。在实时语音应用中，每一处延迟都会影响对话的流畅度。快速、可预测的响应让对话自然流畅，即使同时有数千通通话也是如此。

Flash 在生产环境中实现低于 250 毫秒的首音频时间，价格为每 10,000 字符 ₹20。

更小模型中的前沿质量

Flash 是我们 V4 研究的成果。我们抛开生产模型在延迟和成本上的限制，看看语音质量能走多远。我们训练了更大的语言主干，探索了更丰富的音频表示，测试了不同的生成方法，并将训练数据扩展到超过 4000 亿个音频 token。

质量并未见顶。即使在这一规模下，更多数据和更强能力的模型仍在持续提升模型对语境的运用，以及其韵律、表现力和稳健性。

为了构建 Flash，我们审视了多个实验迭代，找出推动提升的关键因素，并将其蒸馏到一个更小、更高效的模型中。Flash 保留了听众最易察觉的特质，同时满足生产环境的速度和成本要求。

Bulbul V3 的定价为每 10,000 字符 ₹30。Flash 只需 ₹20，便宜三分之一，而且听起来更好，韵律更丰富，语境表达更强，语音质量更高。在生产规模下，富有表现力的语音不再必须让位于成本。

铁路服务热线

1:19

一位客服查询候补名单，提供另一趟列车并完成预订。“एक सेकंड”处的停顿是它在等待工具调用。

为印度语言的广度与深度而构建

印度各语言的语音数据在数量、说话人多样性和表现力范围上差异巨大。我们将专有语音数据集相对 V3 扩大了近七倍，增加了各语言、地区口音、说话人、情感语域和会话风格的覆盖。

规模解决了一个问题，又暴露了另一个问题。一个在多种语言上训练的紧凑模型往往会将它们平均化，模糊掉使每种语言独特的特征。因此，我们从头预训练 V4，将印度语言表示作为首要目标。随后，我们用一套连续的、语言均衡的课程进行训练，旨在在整个训练过程中强化母语发音、说话人身份和富有表现力的表达。

因此，地区口音听起来像母语，印度英语听起来像印度英语，名字、数字和日常表达都按人们实际说话的方式呈现。

原生，细致入微

当语音把细节处理得恰到好处时，听起来就宛如母语。孟加拉语使用者的一句“ধুর বাবা”。泰卢固语“garu”中的敬意。它们的含义通过停顿、重音和语调，以及说话者在多种语言间自如切换的轻松感传达出来。

V4 在其多语言课程中学习这些模式，每种语言在整个训练过程中都得到强化，而不是在最后才加入。最后的语音专业化阶段则针对每种语音的原生口音、对话节奏和富有表现力的表达方式进行调校，因此孟加拉语语音所读的每一句话都带有孟加拉语的韵味。

孟加拉语：一次令人沮丧的加尔各答通勤

0:00

ধুর বাবা， এই জ্যামে আর পারা যায় না！ Ultadanga থেকে Salt Lake আসতে， umm， কত， দেড় ঘণ্টা লাগলো， ভাবা যায়？ Auto-ওয়ালা আবার বলে， 'দাদা， দশ টাকা extra লাগবে， ঘুরে যেতে হবে。' আমি বললাম， যা খুশি কর ভাই， শুধু পৌঁছে দে， please।

印度英语，如其口语所说

在印度的许多对话中，英语是工作语言。它听起来应该像印度所说的英语。

印度英语有自己的发音、重音和语调，由贯穿其中的地区口音塑造而成。对于 V4，我们在预训练及其后的每个阶段都保持印度英语语音的平衡。

印度英语：一场非常班加罗尔的对话

0:00

What ra Sudeep？ So ... Tamizhselvi said she'll reach in ten minutes。 That was， like， forty-five minutes ago， machaa。 Apparently she's still near Silk Board。 Full psych scenes， da。 I mean... should we just go meet her there？ It'll be faster only， no？

设计上具备上下文感知能力

语音代理所说的内容很多是名称、金额、日期和参考编号。正确的口语形式取决于上下文。ISRO 作为一个词来读，即“is-row”，而 EMI 则逐字母读出。PAN 作为一个词发音，Aadhaar 有其自己熟悉的发音。

为了解决这个问题，我们构建了一个实时上下文文本规范化层。它根据上下文解读文本，识别每个元素代表什么，并确定它应该如何被读出。训练期间的表现力对齐随后将这种准确性与模型的表达方式结合起来，因此细节能够正确传达，而不会打断对话的流畅性。

聆听 PNR、车次、车厢和座位，每一个都按应有的方式读出，还有 PAN、Aadhaar、日期和时间，全部融入流畅的印地语-英语对话中。当客户姓名、支付金额或预订参考号被正确说出时，对话就能顺畅进行。这就是 Bulbul V4 Flash 中的语言深度。每一个细节在电话另一端的人听来都恰到好处。

印地语：铁路订票助手

0:00

हाँ जी, umm… एक second, आपकी booking details check कर रही हूँ… हाँ, मिल गई. आपका PNR 4827319560 है, train number 12951 Mumbai Rajdhani, coach B4, seat 27 lower berth. Departure 18 October को 5:10 PM है, platform 3 से. और हाँ, ticket पर ID proof के लिए PAN या Aadhaar में से कोई एक valid रहेगा — बस OTP या CVV किसी को share मत कीजिएगा।

聆听 PNR、车次、车厢和座位的上下文感知发音，以及对 PAN、Aadhaar、日期和时间的自然处理，全部融入流畅的印地语-英语对话中。

对于语音智能体来说，这一区别至关重要。客户姓名、支付金额或预订参考号被错误说出，不仅不自然，还可能让原本有用的交互变得令人困惑。

V4 将母语级发音、上下文理解和富有表现力的语音融为一体，让真实世界的信息既能准确传达，又自然流畅。

这就是 Bulbul V4 Flash 中的语言深度：不只是会说印度的语言，而是以印度人说话的方式来说。

大规模下的低延迟

Bulbul V4 Flash 在生产环境中实现低于 250 毫秒的首音频时间。

Flash 运行在流式优先的推理栈上。感受野感知的流式处理会跳过任何无法影响下一段音频的工作。实时节奏控制让算力专注于当前活跃对话所需的内容，而不是提前生成远超需求的内容。

我们还针对大量并发对话优化了服务路径。我们减少了不必要的同步和复制，将兼容的流式工作分组，并根据实时负载平衡请求。每一项优化都以输出正确性为前提，因此速度从不以语音质量为代价。

结合 V4 的架构改进，这些变化使 Flash 在可比负载下比 V3 快最多 40%，并为并发对话留出了大幅更多的余量。

一个模型。多种体验。

V4 Flash 最令人兴奋的部分，是看到同一个底层模型变成完全不同的产品。

EMI 逾期提醒

0:32

金额、到期日、截止时间、支付链接，以及客户遇到困难时的出路。

而这仅仅是开始。

V4 Flash 发布，带来 11 种语言下的 83 种声音以及 224 种声音与风格组合，覆盖客户服务、销售、催收、银行、电商、教育、对话体验、旁白等众多场景。

为每一种体验而生的声音。

我们还没有止步

Flash 回答了 V4 问题的一部分：

我们能把多少前沿语音能力，装进一个足够快速、可靠且经济、可以服务到任何地方的模型里？

我们也在推进另一面。

V4 家族中有一个正在成长、会笑的模型。

停顿。

叹气。

兴奋起来。

听起来紧张。

精准强调句子中真正重要的那部分。

并用完全不同的方式表达同样的话语。

我们称之为

Bulbul V4 Pro。

下面是接下来即将登场内容的一瞥。

Bulbul V4 Pro

0:00

अरे वाह! आप यहाँ तक पहुँच गए? LAUGH Impressive. इतना patience दिखाया है, reward तो बनता है ना?लेकिन जाने से पहले... एक छोटा-सा सवाल.happy अगर आवाज़ हँस सकती है... sad तो क्या वो उदास भी हो सकती है? fear घबरा सकती है? angry अचानक गुस्सा कर सकती है? whisper या बिना आवाज़ ऊँची किए... सिर्फ़ एक शब्द पर ज़ोर देकर पूरी बात बदल सकती है? SIGH हाँ.शायद आवाज़ के बारे में सबसे दिलचस्प बात यही है…हम सिर्फ़ ये नहीं सुनते कि कोई क्या कह रहा है.हम ये भी सुनते हैं कि…वो emphasis कैसे कह रहा है.कभी आवाज़ में खुशी होती है…कभी थोड़ा-सा डर.कभी नाराज़गी.और कभी…whisper बस एक शब्द ही काफ़ी होता है. क्योंकि असली बात केवल शब्दों में नहीं होती.तो, ये थी बुलबुल V4 Pro की एक झलक।

Bulbul V4 Flash 今日起可通过 Sarvam API、Playground 和 Content Studio 使用。

• <250 ms 首音频时间
• ₹20 / 10,000 字符
• 11 种语言
• 83 种声音
• 224 种声音与风格组合

现有 Bulbul 用户可使用熟悉的 Bulbul API 迁移到 V4 Flash。

产品