跳到正文
Apple Machine Learning Research·· 5 天前精选AI 评分60

Apple 提出 SCLATE:持续学习智能体训练与评测的执行底座

SCLATE: A Substrate for Continual-Learning Agent Training and Evaluation

AI 导读

Apple 研究团队提出 SCLATE,一个让基准测试与未经修改的智能体各自通过适配器向同一开放事件调度器添加事件的执行底座,用混合模拟时钟在共享时间线上运行事件,可将一个月的场景压缩到数小时。

推荐理由

SCLATE 把基准与智能体事件统一到同一调度器,并给出记忆系统未必优于原生 harness 的对比结果。

正文 · AI 翻译

作者Youngmok Jung、Sirajul Salekin、Henry Tran、Javier Movellan、Zhao Huang、Manjot Bilkhu

持续学习智能体是由模型、运行框架和记忆组成的系统,在长时间、多会话的时间跨度上运行。评估和训练它们需要将任务与智能体侧事件(如会话停止与启动、cron 任务和记忆整合)交错进行。然而,现有的基准测试和训练框架只调度基准测试自身的事件,使得每一对基准测试和智能体都需要构建自定义的调度循环。我们提出 SCLATE,一种执行基板,基准测试和未经修改的智能体各自通过适配器将事件添加到同一个开放事件调度器中。一个混合模拟时钟在共享时间线上运行这些事件,在智能体工作时实时流动,并跳过空闲间隙,从而将长达一个月的场景压缩到数小时。SCLATE 还充当 rollout 引擎,无需修改即可运行任何智能体的运行框架和记忆,通过容器内代理记录每次模型调用的 token 和 log 概率。我们将七个基准测试移植到 SCLATE,并在十个模型上对十种未经修改的运行框架和记忆配置进行正面比较。比较表明,新增的记忆系统并不能可靠地胜过运行框架的原生记忆,而且不同模型在使用相同运行框架和记忆时差异很大。随后,我们通过未经修改的运行框架和记忆系统对 Qwen3.5-4B 进行后训练。该模型学会了同时使用两者,读取的文件行数减少 6.8 倍,SWE-bench Verified 通过率提高 16.7 个百分点,并写出更丰富的记忆记录,同时其在留出的 MetaClaw 上的准确率提升高达 11.8 个百分点。

相关阅读与更新。

近期自主机器学习工程(MLE)智能体在公开排行榜上取得了显著进展。现代 MLE 智能体往往受长时间周期内进展停滞和有限的大语言模型(LLM)原语的驱动,被部署在日益复杂的机制之上:多智能体编排器、专用检索子智能体等等。随着此类运行框架不断扩展,使用更原始但更优秀的编码……

阅读更多

由生成式 AI 模型驱动的界面智能体(简称“智能体”)可以根据用户命令自动执行操作。开发智能体的一个重要方面是它们的用户体验(即智能体体验)。越来越需要为 AI 工程师之外的更广泛人群提供脚手架来制作智能体体验原型,因为他们能为设计智能体体验贡献宝贵的视角。在这项工作中,我们探索……

阅读更多

来源:Apple Machine Learning Research · machinelearning.apple.com