美团图灵团队公开 Agent 评测实践：从评测体系到长程 Agent 演进
美团图灵 Agent 评测团队将内部博客公开，由浅入深讲解 Agent 评测，涵盖评测是什么、如何建立评测体系，以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式，主张评测需覆盖结果、过程、效率、风险四层，并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。
推荐理由：美团图灵团队公开两年 Agent 评测实践，给出从指标下钻到人机对齐的可迁移方法论与落地路径。
#评测/基准
美团技术团队精选AI 评分6262 Hugging Face Blog精选AI 评分7171 微软与 Hugging Face 发布 ThinkingBox：按数据库终态给 AI 智能体打分
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，通过隔离的 MCP 工具会话运行智能体，再根据其留下的后端终态和副作用判分，而非看它生成的回答。
推荐理由：微软与 Hugging Face 联合发布的智能体评测基准，用数据库终态而非回答文本判分，并给出 20 次重复下的稳定性与成本对比。
Hugging Face Blog精选AI 评分7171 NVIDIA 发布开源表格基础模型 Kumo Tabular
NVIDIA 发布开源表格基础模型 Kumo Tabular，属于 Kumo Structured 模型集合，在 Hugging Face 上提供权重，可在单次前向传播中完成分类与回归预测，无需训练、调参和特征工程。
推荐理由：NVIDIA 开源表格基础模型，单次前向即可预测，无需训练与特征工程，并给出四个基准的排名与效率对比。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可作为推理基础设施选型的参考。
Hugging Face Blog精选AI 评分6666 IBM 研究提出一致性指南，将智能体运行一致性差距减半
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南，用于解决智能体同一任务多次运行结果不稳定的问题。
推荐理由：原文用 Pass^k 与 Mean@k 的差值量化智能体运行不一致，并给出可复用的诊断与改进流程。
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 上新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集，印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由：Open ASR Leaderboard 首次纳入印地语与印度英语评测集，读者可了解多语言语音评测如何按说话人属性拆解误差。
Hugging Face Blog精选AI 评分6666 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾或相关词已被静音，在 LibriSpeech 上部分模型复现被静音数字的比例约为 30–40%。
推荐理由：通过三项探针量化 ASR 模型的基准优化行为，并给出可复用的检测脚本与榜单入口。
Hugging Face Blog精选AI 评分7171 Hugging Face 用智能体复现 ICML 2026 的 2226 篇论文
Hugging Face 在 7 月 15 日至 8 月 2 日的黑客松中，组织 1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体复现 ICML 2026 论文，共发布 6816 份 Trackio logbook，覆盖 2226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文，给出了大规模论文复现的可行路径与人类角色的具体分工。
Google Research精选AI 评分6262 Google Research 提出 Science One Framework：用证据链实现可验证的自主科研
Google Research 提出 Chain-of-Evidence（CoE）可验证性框架，并落地为自主科研原型 Science One Framework 与配套的 CoE Audit 审计指标。
推荐理由：原文给出可验证性框架与审计指标，读者可据此比较自主科研系统在引用与代码一致性上的差距。
Hugging Face Blog精选AI 评分6060 Hugging Face 模型页展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并链接回完整记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖 22,000 多个模型和 2,200 个基准，来自 31 种报告格式。
推荐理由：原文给出 EEE 与 Community Evals 互通后的数据规模与转换工具，读者可据此判断评测结果如何被统一记录和追溯。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 agent-eval：在自有工具上评测开放模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行，衡量智能体完成任务所需的轮次、token 与错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动对不同规模模型效果相反的具体证据。
Google Research精选AI 评分6060 Google Research 发布 ReasoningBank：让智能体从经验中学习
Google Research 在 ICLR 论文中提出智能体记忆框架 ReasoningBank，从成功和失败经验中提炼高层推理模式，用于测试时自我进化。
推荐理由：Google Research 的 ICLR 论文提出从成功与失败经验中提炼推理记忆的框架，并给出 WebArena 与 SWE-Bench-Verified 上的对比数据。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Perception 与 Falcon OCR 模型
阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词汇定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干架构在开放词汇感知上的取舍。
OpenAI News精选AI 评分6060 OpenAI 解释为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测，理由是这一基准正日益受到污染，无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题，并建议改用 SWE-bench Pro。
推荐理由：OpenAI 说明 SWE-bench Verified 存在污染与测试缺陷，并给出替代基准建议，可供关注编码评测的人参考。
Hugging Face Blog精选AI 评分6060 IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 合作，用 MAST（多智能体系统失败分类法）分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
推荐理由：IBM 与 UC Berkeley 用 MAST 分类法拆解 310 条 ITBench 执行轨迹，给出不同模型失败模式的差异与对应工程干预方向。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3 Deep Think 升级版
Google DeepMind 发布 Gemini 3 Deep Think 重大升级，面向科学、研究与工程难题，已在 Gemini 应用中向 Google AI Ultra 订阅用户开放，并首次通过 Gemini API 向部分研究者、工程师和企业提供早期访问。
推荐理由：官方给出 Deep Think 在 HLE、ARC-AGI-2、Codeforces 等基准上的具体成绩，并首次开放 API 早期访问，可据此判断其科研与工程场景的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Community Evals，基准数据集可托管排行榜
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库现在可以注册为 benchmark 并自动聚合全站上报的评测结果，在数据集卡片中展示排行榜。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可据此了解评测结果如何被公开、复现与追溯。
Mistral AI精选AI 评分6262 Mistral 发布 AI Studio 生产级 AI 平台
Mistral 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，围绕可观测性、Agent Runtime 和 AI Registry 三大支柱构建。
推荐理由：Mistral 把自家大规模系统的可观测、执行与治理能力产品化，读者可据此判断企业 AI 从原型走向生产的工程路径。
Hugging Face Blog精选AI 评分6060 BigCode 发布 BigCodeArena：通过代码执行端到端评测代码生成模型
BigCode 项目发布 BigCodeArena，这是首个通过实际执行代码来评测代码生成模型的人类参与平台，用户可提交编程任务、对比两个模型的生成结果并运行代码后投票。
推荐理由：BigCodeArena 把代码执行结果引入人类投票评测，读者可据此了解代码模型评测为何需要运行而非只看源码。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 Meta ARE 开源框架
Hugging Face 发布 GAIA 的后续基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出可复现的开源环境与调试轨迹。