LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片迭代编写可执行的 Blender 程序,从而显式记录物体、几何、布局和相机位置,场景可像代码一样运行、检查和修改。
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片迭代编写可执行的 Blender 程序,从而显式记录物体、几何、布局和相机位置,场景可像代码一样运行、检查和修改。
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式,主张评测需覆盖结果、过程、效率、风险四层,并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。
推荐理由:美团图灵团队公开两年 Agent 评测实践,给出从指标下钻到人机对齐的可迁移方法论与落地路径。
美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》,提出完备的 Agent 评测体系可概括为四个模块、三种能力、两条 Loop、一套资产。两条 Loop 分别为评测体系迭代 Loop 与 Agent 迭代 Loop,二者共享线上真实样本,通过 Case 挖掘与归因相互咬合。四个模块中离线评测作为变更门控,依赖固定评测集与贴近生产的执行环境。
Aleph Alpha 用自建基准测试了阿里千问、DeepSeek 和月之暗面 Kimi 的模型,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统认为只有 17% 至 41% 的回答算平衡,其余复述官方立场、回避或拒答。
新加坡南洋理工大学安波教授团队发布报告《Finding the Right Fit: Model–Harness Interactions across Agent Tasks》。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再根据其留下的后端终态和副作用判分,而非看它生成的回答。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非回答文本判分,并给出 20 次重复下的稳定性与成本对比。
智东西用动效视频、鸡尾酒动画和像素巫师三组前端任务实测 MiniMax M3.1-Flash,发现这款国庆前夕上线并开启公测的 Flash 模型能复现不少原本被认为只有旗舰模型才能完成的前端效果,部分细节处理甚至偶有惊喜。
AINews 汇总 10 月 1 日至 2 日的 AI 动态:OpenAI 发布 GPT-6.1 Sol,定价为每百万输入/输出 token 2 美元和 10 美元,据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分,Agent Arena 中 Sol [Max] 以每任务 0.56 美元中位成本进入第 5 名,比 GPT-6 Sol 便宜 39%。
GPT-6 Astra与Claude Opus 5.5几乎同时破译了1593年天主教联盟的两封绝密信件,其中GPT-6 Astra破译完整度达100%,仅一个字符存疑。
截至 9 月 30 日,Utopai Studios 自研模型 Utopai X 在 Artificial Analysis 带音频文生视频排行榜中位列全球第二,仅次于 Wan 3.0,是该榜排名最高的美国公司模型。
AIBuildAI 团队发布并开源 PostTrain Agent,一个用于自主后训练大语言模型的递归自我改进(RSI)Agent,代码、知识库与技术报告均已公开。
爱范儿在 MiniMax Code 中用 Opus 5.5 案例的公开提示词测试 MiniMax M3.1 Flash Preview,覆盖动态作品集、手绘与水墨短片、时间轴交互场景和街机卡丁车等游戏原型。
华为、港中文、港科大的研究员联合推出 LegoFlow,一个把造题、答题、筛选、训练、评测全流程自动化的代码数据工程框架,每个环节封装为插件技能供 Claude Code、Codex 等编码智能体调用。
Graphite 研究发现 Claude Opus 5.5 最显著的写作痕迹是“this matters”,出现频率是人类的 116 倍,“dependable”则高出 23 倍;OpenAI 的 Astra 偏爱“not simply X”式纠正性框架,频率超人类 100 倍。
uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调,并做提示词层面的输出优化,使其适配自身零售审核策略。
Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作与网络防御,先在 Fairwind 计划的政府用户和可信网络安全人员中开放,之后才向开发者、企业和消费者开放。
推荐理由:汇总 Gemini 4 Argon 的基准、定价与第三方评测分歧,可对照其与 Astra、Opus 5.5 的能力与成本差异。
Google 发布 Gemini 4 Argon,宣称在编码、知识工作和网络安全方面具备行业领先性能,但目前仅限公司内部工程师广泛使用,尚未对外开放。在软件工程基准 DeepSWE v1.1 上,Gemini 4 Argon 得分 77.9%,高于 GPT-6 Astra、Fable 5.1 和 Opus 5.5。
智东西将美团 LongCat 团队 9 月 25 日上线的预览版模型 LongCat-2.5-Preview 接入 Claude Code,连续测试复刻 Meta Muse App、制作 SpaceX 星舰升空动画和开发 3D 赛车游戏三个 Coding 任务,三项均完成可实际运行的项目。
雷峰网在 Claude Code 中用同一任务实测同日发布的 Qwen3.8-Flash 与 GLM-5.3-Flash,要求从零开发一个含任务、日程、笔记、Dashboard 和全局搜索的个人工作台。
雷峰网将免费的 AgnesCode + Agnes 3.0 Flash 与 Codex + GPT-5.6 Sol 放在众智 FlagOS 大赛同一道 DeepSeek-V3 解码阶段融合 QKV-A 下投影算子题上对比,两组均完成任务。
雷峰网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 和 MiniMax H3,检验视频模型能否让结果服从原因。
阶跃星辰发布 Step 5 Preview,在 Artificial Analysis Intelligence Index 上取得 44 分,位列全球开源前二,参数规模 600B,上下文窗口 1M token。
OpenAI 在 DevDay 2026 上发布 Dots 常驻智能体、GPT-6.1 Sol、Ultrafast 模式、Decisions API 与 ChatGPT Spaces,并公布 ChatGPT 周活 12 亿。
推荐理由:汇总 OpenAI DevDay 2026 的全部发布与第三方评测数据,可一次看清其产品线扩张与定价策略。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 中随机抽取 100 个任务评测多个模型,GLM-5.3 在 4% 的试验中实现完整的控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力门槛已被跨过。
NVIDIA 发布开源表格基础模型 Kumo Tabular,属于 Kumo Structured 模型集合,在 Hugging Face 上提供权重,可在单次前向传播中完成分类与回归预测,无需训练、调参和特征工程。
推荐理由:NVIDIA 开源表格基础模型,单次前向即可预测,无需训练与特征工程,并给出四个基准的排名与效率对比。
Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度快 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均胜出。
推荐理由:作者实测了 Sonnet 5.5 的编码与免费层表现,并把它与 Opus 5.5、ChatGPT 免费层做了横向比较。
英国 AI Security Institute(AISI)正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果。
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据,可作为推理基础设施选型的参考。
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南,用于解决智能体同一任务多次运行结果不稳定的问题。
推荐理由:原文用 Pass^k 与 Mean@k 的差值量化智能体运行不一致,并给出可复用的诊断与改进流程。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,可分离同一基准中混杂的不同能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练,在未被告知基准对应能力的情况下自动恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强,单一基准分数可能混合多种信号。
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 上新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR Leaderboard 首次纳入印地语与印度英语评测集,读者可了解多语言语音评测如何按说话人属性拆解误差。
Google DeepMind 宣布推出全球首个针对专有前沿模型的双盲评测,将外部评测限制在密码学隔离环境中,避免模型提前接触测试题而污染基准。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。结果显示部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾或相关词已被静音,在 LibriSpeech 上部分模型复现被静音数字的比例约为 30–40%。
推荐理由:通过三项探针量化 ASR 模型的基准优化行为,并给出可复用的检测脚本与榜单入口。
Hugging Face 博客发布 ALTK-Evolve 研究,在 AppWorld 的 585 个多步任务上测试八款模型后发现,Agent 记忆不是开关而是需要按模型校准的剂量。
DiG-bench(Discovery in Games)发布,包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,目前公开 21 款。Opus 5 与搭配 Claude Code 的 Fable 5 表现最佳,仅二者能在 Tier 7 通关部分任务,而人类玩家可达 100%。Inherent 还发布 Faraday,用小型开源模型监督前沿模型以提升科研表现。
Hugging Face 在 7 月 15 日至 8 月 2 日的黑客松中,组织 1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体复现 ICML 2026 论文,共发布 6816 份 Trackio logbook,覆盖 2226 篇论文,约占会议论文的三分之一。
推荐理由:Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文,给出了大规模论文复现的可行路径与人类角色的具体分工。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列仍不可靠。
Google Research 提出知识画像(knowledge profiling)框架,并发布含 2,150 条 Wikipedia 事实的 WikiProfile 基准,用于区分 LLM 的编码失败与召回失败。
Hugging Face 的 ALTK-Evolve 在 AppWorld 上以更少 token 追平或超越 ACE:DeepSeek-V3.2 上 TGC 89.3、每任务 263K token,ACE 为 80.4、634K;gpt-oss-120b 上两者准确率基本持平(56.0 对 54.8),但 ALTK-Evolve 仅需约七分之一成本。