Together AI发布Together Compiler持续优化推理

2026年11月4日，Together AI 发布 Together Compiler（TKCC），称其为首个真正持续的 RSI 系统，利用高吞吐智能体针对多样化推理负载进行优化，目前已服务数万亿 token。同日另一篇官方文章提出 Polymorphic Inference（多态推理）理念，以应对开源模型发布加速、架构多样化、流量形态多变与硬件快速迭代，并指出 OpenRouter 上 80% 流量流向近三个月发布的模型、当前十大热门开源模型架构各不相同；Together Compiler 作为迈向该目标的第一步，通过 Continuous Compilation 让 AI 智能体持续优化自身推理。同日一篇新报道补充称，Together Compiler 在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 实现最高 2.6x 的 TPS 提升。部署方面，Together Compiler 目前已在部分最受欢迎的 serverless 端点上生产运行，并在已高度优化的代码上取得进一步提升；面向终端客户以 limited beta 形式开放，需联系申请早期访问；官方称不久后客户将可一键用其为专属端点针对自身负载做优化。硬件测试方面，Trainium2 因实现尚不支持有限 HBM 容量下的更高并发，改用合成多轮数据集（70k ISL、3.5k 新 ISL 且 95% 缓存、700 OSL）而非 AgentX 运行。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。