港科大与华为提出BalanceRoute路由方法

2026年10月，香港科技大学周子杰团队与华为2012实验室理论部联合提出BalanceRoute在线路由方法，针对大模型推理中预填充-解码分离系统的跨组同步等待问题，通过数学建模刻画该瓶颈，并将短期负载预测转化为在线路由决策。主实验使用96张昇腾910C NPU运行DeepSeek-V3 671B（W8A8），含8个解码工作单元；在接近饱和的高负载条件下，团队回放企业生产请求记录和公开Azure-2024请求记录，与轮询、最短队列等四种常用路由策略比较，采用实际预测器的BR-H相对所比较的最强基线，解码吞吐提升约15%。该工作已被NeurIPS 2026接收，并已部署于双方共建的MaaS推理服务系统MathBot-Pie。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。