Hugging Face 研究：你的 Agent 究竟需要多少记忆？
Hugging Face 博客发布 ALTK-Evolve 研究，在 AppWorld 的 585 个多步任务上测试八款模型后发现，Agent 记忆不是开关而是需要按模型校准的剂量。
#评测/基准
Hugging Face BlogAI 评分4848
Import AIAI 评分2222 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
DiG-bench（Discovery in Games）发布，包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，目前公开 21 款。Opus 5 与搭配 Claude Code 的 Fable 5 表现最佳，仅二者能在 Tier 7 通关部分任务，而人类玩家可达 100%。Inherent 还发布 Faraday，用小型开源模型监督前沿模型以提升科研表现。
Hugging Face Blog精选AI 评分7171 Hugging Face 用智能体复现 ICML 2026 的 2226 篇论文
Hugging Face 在 7 月 15 日至 8 月 2 日的黑客松中，组织 1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体复现 ICML 2026 论文，共发布 6816 份 Trackio logbook，覆盖 2226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文，给出了大规模论文复现的可行路径与人类角色的具体分工。
Microsoft ResearchAI 评分4040 MindTopo：微软研究院推出评估 VLM 拓扑空间推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，跨序列仍不可靠。
Google ResearchAI 评分4848 Google Research 提出知识画像框架：前沿 LLM 的事实错误多源于召回失败而非编码失败
Google Research 提出知识画像（knowledge profiling）框架，并发布含 2,150 条 Wikipedia 事实的 WikiProfile 基准，用于区分 LLM 的编码失败与召回失败。
Hugging Face BlogAI 评分4242 比 ACE 更省 Token：ALTK-Evolve 如何用按需检索替代全量注入
Hugging Face 的 ALTK-Evolve 在 AppWorld 上以更少 token 追平或超越 ACE：DeepSeek-V3.2 上 TGC 89.3、每任务 263K token，ACE 为 80.4、634K；gpt-oss-120b 上两者准确率基本持平（56.0 对 54.8），但 ALTK-Evolve 仅需约七分之一成本。
Google Research精选AI 评分6262 Google Research 提出 Science One Framework：用证据链实现可验证的自主科研
Google Research 提出 Chain-of-Evidence（CoE）可验证性框架，并落地为自主科研原型 Science One Framework 与配套的 CoE Audit 审计指标。
推荐理由：原文给出可验证性框架与审计指标，读者可据此比较自主科研系统在引用与代码一致性上的差距。
OpenAI NewsAI 评分3535 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 基准上得分翻三倍
启用两个 API 设置后，GPT-5.6 在 ARC-AGI-3 基准上的得分提升至原来的三倍。这两个设置通过保留推理过程和启用压缩（compaction）来提高性能与效率。
Import AIAI 评分6262 Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，考察 AI 仅凭 CLI 访问重新实现软件程序的能力，覆盖 25 个目标程序。Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务，17/25 的目标程序至少有一次满分运行，但 8/25 从未达到 100% 阈值，ruff、giac_subset 和 mailauth 最难。
Import AIAI 评分6262 Import AI 465：开放与闭源模型网络能力差距收窄、Kimi K3 与 Demis 的 AGI 监管方案
英国 AI Security Institute 分析显示，开放权重模型与闭源前沿模型的网络能力差距正在收窄：GLM-5.2 最接近 4.3 个月前发布的 Claude Opus 4.6，DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间，而 2025 年大部分时间测得的差距为 6 到 10 个月。
Hugging Face BlogAI 评分2222 新模型来了，DharmaOCR 在巴西葡萄牙语 OCR 上仍保持优势
DharmaOCR 在葡萄牙语专项基准上得分 0.925，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量和稳定性上保持优势。
Hugging Face BlogAI 评分5858 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分3636 OpenAI 分析揭示 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性与准确性隐患，可能影响对 AI 模型的评测。该分析聚焦于如何从编码评测中区分有效信号与噪声。
Import AIAI 评分4242 Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算
Fable 在 KernelBench-Mega 上写出首个真正的 megakernel，在 RTX PRO 6000 Blackwell 上以 CUDA 实现 18.71X 加速，超过 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。
Hugging Face BlogAI 评分4444 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1,331 个专家测试。
Hugging Face Blog精选AI 评分6060 Hugging Face 模型页展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并链接回完整记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖 22,000 多个模型和 2,200 个基准，来自 31 种报告格式。
推荐理由：原文给出 EEE 与 Community Evals 互通后的数据规模与转换工具，读者可据此判断评测结果如何被统一记录和追溯。
OpenAI NewsAI 评分2626 OpenAI 推出 GeneBench-Pro 基准
OpenAI 推出 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。
Hugging Face BlogAI 评分4646 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 agent-eval：在自有工具上评测开放模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行，衡量智能体完成任务所需的轮次、token 与错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动对不同规模模型效果相反的具体证据。
OpenAI NewsAI 评分3535 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 发布 LifeSciBench，一个由专家编写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
OpenAI NewsAI 评分3030 OpenAI 发布可信第三方评估指南
OpenAI 分享第三方 AI 评估指南，覆盖如何评估前沿系统的模型能力、安全防护措施与评估有效性。
Hugging Face BlogAI 评分3434 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话场景的高质量英文 ASR 私有数据集，以防止 benchmaxxing 和测试集污染。榜单默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Import AIAI 评分6262 Import AI 455：AI 系统即将开始自我构建
Import AI 作者 Jack Clark 认为，到 2028 年底有 60% 以上概率出现无需人类参与的 AI 研发，即前沿模型能自主训练出自己的后继版本。
Google Research精选AI 评分6060 Google Research 发布 ReasoningBank：让智能体从经验中学习
Google Research 在 ICLR 论文中提出智能体记忆框架 ReasoningBank，从成功和失败经验中提炼高层推理模式，用于测试时自我进化。
推荐理由：Google Research 的 ICLR 论文提出从成功与失败经验中提炼推理记忆的框架，并给出 WebArena 与 SWE-Bench-Verified 上的对比数据。
Hugging Face BlogAI 评分3333 QIMMA قِمّة：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة 阿拉伯语 LLM 排行榜，在评测模型前先对基准做质量验证。该榜单整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖文化、STEM、法律、医疗、安全、诗歌文学与代码 7 大领域，其中 99% 为原生阿拉伯语内容，并首次在阿拉伯语排行榜中引入代码评测。
Hugging Face BlogAI 评分4040 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA，一个面向企业级环境的工具接地可执行基准，用于评估 AI 智能体的组合推理与多步工作流执行能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择与多跳推理四类任务，模型整体表现不佳。博客进一步分析了不同任务上观察到的失败模式。
Google ResearchAI 评分4646 Google 推出 Vantage：用生成式 AI 评估未来技能
Google 在 Google Labs 上线研究实验 Vantage，用生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，目前提供英文版并可注册。Vantage 与纽约大学合作开发，由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，188 名 18-25 岁美国测试者的研究显示其评分与人类专家一致度接近专家间一致度。
Google ResearchAI 评分4040 Google 推出 PaperVizAgent 与 ScholarPeer 两款学术 AI 智能体
Google 发布两款学术智能体：PaperVizAgent 负责生成论文配图，ScholarPeer 负责自动同行评审。PaperVizAgent 由检索、规划、风格、可视化、评审五个智能体协作，在 0-100 分评测中总分 60.2，超过 GPT-Image-1.5、Nano-Banana-Pro、Paper2Any，是唯一超过 50.0 人类基线的框架。
Google ResearchAI 评分4040 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Perception 与 Falcon OCR 模型
阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词汇定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干架构在开放词汇感知上的取舍。
Google ResearchAI 评分3535 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，并已将模拟器在 GitHub 开源。
Hugging Face BlogAI 评分5252 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确性）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与会话体验的框架。
Google DeepMindAI 评分4646 Google DeepMind 发布 AGI 认知框架，并启动 Kaggle 黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项能力的认知分类框架，并配套三阶段评估协议，用留出测试集防数据污染、采集具人口代表性的人类基线、将 AI 表现映射到人类表现分布。
Google ResearchAI 评分4040 Google 用高温超导研究问题测试 LLM 世界模型
Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位专家按 6 项指标盲评打分。基于 1,726 篇受控文献的 NotebookLM 在多数维度表现最佳，自建 RAG 系统紧随其后，所有系统均有待改进之处。
OpenAI NewsAI 评分3131 OpenAI 与 Pacific Northwest National Laboratory 合作推出 DraftNEPABench，加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 联合推出 DraftNEPABench，用于评估 AI 编程智能体如何加速联邦许可审批。该基准显示，NEPA 文件起草时间有望最多缩短 15%，助力基础设施审查现代化。
OpenAI News精选AI 评分6060 OpenAI 解释为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测，理由是这一基准正日益受到污染，无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题，并建议改用 SWE-bench Pro。
推荐理由：OpenAI 说明 SWE-bench Verified 存在污染与测试缺陷，并给出替代基准建议，可供关注编码评测的人参考。
Hugging Face Blog精选AI 评分6060 IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 合作，用 MAST（多智能体系统失败分类法）分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
推荐理由：IBM 与 UC Berkeley 用 MAST 分类法拆解 310 条 ITBench 执行轨迹，给出不同模型失败模式的差异与对应工程干预方向。
OpenAI NewsAI 评分3838 OpenAI 与 Paradigm 推出 EVMbench，评估 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞场景，覆盖发现、修复与攻击三类任务。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3 Deep Think 升级版
Google DeepMind 发布 Gemini 3 Deep Think 重大升级，面向科学、研究与工程难题，已在 Gemini 应用中向 Google AI Ultra 订阅用户开放，并首次通过 Gemini API 向部分研究者、工程师和企业提供早期访问。
推荐理由：官方给出 Deep Think 在 HLE、ARC-AGI-2、Codeforces 等基准上的具体成绩，并首次开放 API 早期访问，可据此判断其科研与工程场景的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Community Evals，基准数据集可托管排行榜
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库现在可以注册为 benchmark 并自动聚合全站上报的评测结果，在数据集卡片中展示排行榜。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可据此了解评测结果如何被公开、复现与追溯。