谷歌等团队发布T2J-Bench迁移基准

2026年10月31日，机器之心报道，Google Cloud AI Research、伊利诺伊大学厄巴纳香槟分校、南加州大学、圣母大学和 Google DeepMind 的团队提出 T2J-Bench，用于评测 Coding Agent 将 PyTorch 仓库迁移到 JAX 的质量。该基准包含 63 个自包含的仓库级任务，覆盖 18 个模型家族。团队同时设计 TwinHarness，让 agent 利用可运行的原始仓库，逐轮定位、修复并验证行为差异。评测时，候选代码在隔离、离线且没有 PyTorch 的环境中执行，并与提前从原始 PyTorch 实现记录的参考结果比较；TwinHarness 只使用任务对 agent 可见的资源，不读取隐藏测试、冻结评测参考、评测器代码或 benchmark reward，开发反馈与最终评分保持分离。报道称，随着 benchmark 代码开放，研究者可在统一任务和评测流程下比较自己的 agent，进一步回答哪些执行证据最能帮助系统保留跨框架行为。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。