Deepgram将Nova-3移植Trainium2优化语音推理

2026年10月20日，AWS Machine Learning Blog 发布文章，介绍 Deepgram 与 AWS 团队将 Nova-3 语音转文字模型从 PyTorch 移植到 AWS Trainium2 的推理优化实践。移植工作包括把 Nova-3 接入 AWS Neuron 软件栈、进行内核级调优，以及构建数据并行 Rust 运行时，使 Deepgram 自有模型服务器能够调用 Trainium。该方案用于离线批量推理，单台 trn2.3xlarge 实例运行 8 个模型副本。据该文称，在 Deepgram 面向吞吐的离线批量任务上，按评估时的实例定价计算，该配置每美元处理的音频量比 Deepgram 此前使用的算力方案多 11% 至 70%；文章还称，这些收益可延伸至在自有 VPC 中通过 Amazon SageMaker AI 自托管 Deepgram 模型的客户。上述数字与适用范围均出自 AWS 一方文章，尚无独立跟进报道。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。