Claude 平台公测 message threads,长会话智能体 TTFT 中位数降约 35%
Make long-running agents faster with message threads
Claude 平台上线 message threads 公测,智能体不再每轮重发完整对话历史,只发送上一轮之后的新消息和上一次响应的 ID。在 Claude Code 多数用户默认开启的情况下,50 万至 100 万 token 的请求首 token 延迟(TTFT)中位数下降约 35%。
原文给出了 message threads 的机制、TTFT 降幅和 5 分钟过期限制,读者可据此判断长会话智能体的延迟优化边界。
消息线程现已在 Claude 平台公测。借助消息线程,智能体无需在每一轮重新发送完整对话历史,从而降低长时间运行会话的延迟。
消息线程的工作原理
编码智能体在一次会话中可能发起数百次请求,而每次请求都会重新发送此前所有消息和工具结果。当对话达到数十万 token 时,重新发送全部内容会在 Claude 开始响应前增加耗时。借助消息线程,智能体只发送自上一轮以来的新增内容,从而缩短首 token 时间(TTFT)。
由于大多数 Claude Code 用户默认开启消息线程,50 万至 100 万 token 的请求其 TTFT 中位数下降约 35%。
要使用消息线程,请在 Messages API 请求中添加 thread 参数。首次请求包含完整对话并启动一个线程。此后每次请求仅包含新消息和上一次响应的 ID。在轮次之间,我们将每个线程保存在内存中,加密存储且不写入磁盘。线程在最后一次请求后 5 分钟过期,随后你的客户端会重新发送完整对话以启动新线程。虽然使用消息线程后每次请求更小,但 Claude 在每一轮仍会读取完整对话,因此 token 用量保持不变。
消息线程最适合对延迟敏感的活跃会话,包括:
- 长时间运行的编码智能体,其中每个工具结果或文件编辑都会增加对话内容。
- 计算机使用智能体,其中截图保留在线程中,而不是在每一轮重新上传。
- 文档和图像密集型工作流,其中请求体积得以减小。
智能体携带的上下文越多,消息线程缩短首 token 时间的效果就越明显。
开始使用
消息线程现已在原生 Claude 平台、AWS 上的 Claude 平台、Microsoft Foundry 中的 Claude,以及 Google Cloud 上的 Claude 模型(Anthropic 托管)公测。适用标准 Claude token 费率和现有速率限制。请参阅文档开始使用。
来源:Claude Blog · claude.com