Baseten 优化 Qwen3-ASR 批量转写吞吐

2026年10月29日，Baseten 在官方博客发布消息称，已在自家平台对 Qwen3-ASR 1.7B 的批量转写进行优化，在单张 RTX PRO 6000 上，高并发批量转写吞吐相比原生 vLLM 提升 7 倍以上。据该报道，优化措施包括：用 torchcodec 替换 PyAV 解码、KV cache 改用 FP8 并配合 FlashInfer 内核、消除主机与设备间同步，GPU 利用率从 86% 提升到 97%。Baseten 称该优化部署是其 Model Library 中的默认版本，可一键部署，并可用任意 OpenAI 兼容转写客户端调用，也可与 Nemotron 3 Diarization 搭配生成带说话人归属的转写；如需实时转写，其流式 Qwen3-ASR 预设提供同一模型。Baseten 还称，该优化实现了所有转写提供商中最低的每分钟音频成本，并邀请有更大批量需求或希望优化特定模型的用户联系其工程师。上述性能与成本说法均来自 Baseten 单方表述，尚无独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。