美团 LongCat 发布 MineExplorer：首个开放世界长程任务评测基准，18 款顶级多模态模型集体考砸
美团 LongCat 团队构建了 MineExplorer，一个在《我的世界》动态开放世界中评测多模态大模型的基准，包含 813 个人工验证实例（1-hop 到 4-hop）和规则化里程碑自动评测框架。
#评测/基准
美团技术团队AI 评分5858 美团技术团队AI 评分3636 美团开源 LoHoSearch：基于知识图谱的下一代搜索智能体评测基准
美团 LongCat 团队开源搜索智能体评测基准 LoHoSearch，基于覆盖 762 万维基百科实体的知识图谱自动生成题目，含 544 道经人工核验的题目、覆盖 11 个领域。
美团技术团队精选AI 评分6262 美团图灵团队公开 Agent 评测实践：从评测体系到长程 Agent 演进
美团图灵 Agent 评测团队将内部博客公开，由浅入深讲解 Agent 评测，涵盖评测是什么、如何建立评测体系，以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式，主张评测需覆盖结果、过程、效率、风险四层，并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。
推荐理由：美团图灵团队公开两年 Agent 评测实践，给出从指标下钻到人机对齐的可迁移方法论与落地路径。
美团技术团队AI 评分3838 美团技术团队《Agent 评测白皮书》系列01：Agent 评测全览
美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》，提出完备的 Agent 评测体系可概括为四个模块、三种能力、两条 Loop、一套资产。两条 Loop 分别为评测体系迭代 Loop 与 Agent 迭代 Loop，二者共享线上真实样本，通过 Case 挖掘与归因相互咬合。四个模块中离线评测作为变更门控，依赖固定评测集与贴近生产的执行环境。
Hugging Face Blog精选AI 评分7171 微软与 Hugging Face 发布 ThinkingBox：按数据库终态给 AI 智能体打分
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，通过隔离的 MCP 工具会话运行智能体，再根据其留下的后端终态和副作用判分，而非看它生成的回答。
推荐理由：微软与 Hugging Face 联合发布的智能体评测基准，用数据库终态而非回答文本判分，并给出 20 次重复下的稳定性与成本对比。
AWS Machine Learning BlogAI 评分2222 uniopen 如何用 Amazon Nova 2 Lite 定制零售审核策略并部署上线
uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调，并做提示词层面的输出优化，使其适配自身零售审核策略。
Hugging Face BlogAI 评分3939 Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
Hugging Face Blog精选AI 评分7171 NVIDIA 发布开源表格基础模型 Kumo Tabular
NVIDIA 发布开源表格基础模型 Kumo Tabular，属于 Kumo Structured 模型集合，在 Hugging Face 上提供权重，可在单次前向传播中完成分类与回归预测，无需训练、调参和特征工程。
推荐理由：NVIDIA 开源表格基础模型，单次前向即可预测，无需训练与特征工程，并给出四个基准的排名与效率对比。
OpenAI NewsAI 评分3232 Basis 借助 GPT-6 Astra 将税务工作簿处理速度提升 2 倍
GPT-6 Astra 完成一份 50 个标签页的税务工作簿，速度是 GPT-5.6 Sol 的两倍。其对用户意图更强的理解能力，让 Basis 在真实业务场景中使用时更有信心。
OpenAI NewsAI 评分2727 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face BlogAI 评分3434 英国 AISI 采用 EvalEval 基础设施公开评测结果，提升可复现性
英国 AI Security Institute（AISI）正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可作为推理基础设施选型的参考。
Hugging Face Blog精选AI 评分6666 IBM 研究提出一致性指南，将智能体运行一致性差距减半
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南，用于解决智能体同一任务多次运行结果不稳定的问题。
推荐理由：原文用 Pass^k 与 Mean@k 的差值量化智能体运行不一致，并给出可复用的诊断与改进流程。
Hugging Face BlogAI 评分3232 Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，可分离同一基准中混杂的不同能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练，在未被告知基准对应能力的情况下自动恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强，单一基准分数可能混合多种信号。
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 上新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集，印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由：Open ASR Leaderboard 首次纳入印地语与印度英语评测集，读者可了解多语言语音评测如何按说话人属性拆解误差。
Google DeepMindAI 评分5858 Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题而污染基准。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
Hugging Face Blog精选AI 评分6666 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾或相关词已被静音，在 LibriSpeech 上部分模型复现被静音数字的比例约为 30–40%。
推荐理由：通过三项探针量化 ASR 模型的基准优化行为，并给出可复用的检测脚本与榜单入口。
Hugging Face BlogAI 评分4848 Hugging Face 研究：你的 Agent 究竟需要多少记忆？
Hugging Face 博客发布 ALTK-Evolve 研究，在 AppWorld 的 585 个多步任务上测试八款模型后发现，Agent 记忆不是开关而是需要按模型校准的剂量。
Hugging Face Blog精选AI 评分7171 Hugging Face 用智能体复现 ICML 2026 的 2226 篇论文
Hugging Face 在 7 月 15 日至 8 月 2 日的黑客松中，组织 1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体复现 ICML 2026 论文，共发布 6816 份 Trackio logbook，覆盖 2226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文，给出了大规模论文复现的可行路径与人类角色的具体分工。
Microsoft ResearchAI 评分4040 MindTopo：微软研究院推出评估 VLM 拓扑空间推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，跨序列仍不可靠。
Google ResearchAI 评分4848 Google Research 提出知识画像框架：前沿 LLM 的事实错误多源于召回失败而非编码失败
Google Research 提出知识画像（knowledge profiling）框架，并发布含 2,150 条 Wikipedia 事实的 WikiProfile 基准，用于区分 LLM 的编码失败与召回失败。
Hugging Face BlogAI 评分4242 比 ACE 更省 Token：ALTK-Evolve 如何用按需检索替代全量注入
Hugging Face 的 ALTK-Evolve 在 AppWorld 上以更少 token 追平或超越 ACE：DeepSeek-V3.2 上 TGC 89.3、每任务 263K token，ACE 为 80.4、634K；gpt-oss-120b 上两者准确率基本持平（56.0 对 54.8），但 ALTK-Evolve 仅需约七分之一成本。
Google Research精选AI 评分6262 Google Research 提出 Science One Framework：用证据链实现可验证的自主科研
Google Research 提出 Chain-of-Evidence（CoE）可验证性框架，并落地为自主科研原型 Science One Framework 与配套的 CoE Audit 审计指标。
推荐理由：原文给出可验证性框架与审计指标，读者可据此比较自主科研系统在引用与代码一致性上的差距。
OpenAI NewsAI 评分3535 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 基准上得分翻三倍
启用两个 API 设置后，GPT-5.6 在 ARC-AGI-3 基准上的得分提升至原来的三倍。这两个设置通过保留推理过程和启用压缩（compaction）来提高性能与效率。
Hugging Face BlogAI 评分2222 新模型来了，DharmaOCR 在巴西葡萄牙语 OCR 上仍保持优势
DharmaOCR 在葡萄牙语专项基准上得分 0.925，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量和稳定性上保持优势。
Hugging Face BlogAI 评分5858 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分3636 OpenAI 分析揭示 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性与准确性隐患，可能影响对 AI 模型的评测。该分析聚焦于如何从编码评测中区分有效信号与噪声。
Hugging Face BlogAI 评分4444 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1,331 个专家测试。
Hugging Face Blog精选AI 评分6060 Hugging Face 模型页展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并链接回完整记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖 22,000 多个模型和 2,200 个基准，来自 31 种报告格式。
推荐理由：原文给出 EEE 与 Community Evals 互通后的数据规模与转换工具，读者可据此判断评测结果如何被统一记录和追溯。
OpenAI NewsAI 评分2626 OpenAI 推出 GeneBench-Pro 基准
OpenAI 推出 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。
Hugging Face BlogAI 评分4646 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 agent-eval：在自有工具上评测开放模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行，衡量智能体完成任务所需的轮次、token 与错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动对不同规模模型效果相反的具体证据。
OpenAI NewsAI 评分3535 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 发布 LifeSciBench，一个由专家编写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
OpenAI NewsAI 评分3030 OpenAI 发布可信第三方评估指南
OpenAI 分享第三方 AI 评估指南，覆盖如何评估前沿系统的模型能力、安全防护措施与评估有效性。
Hugging Face BlogAI 评分3434 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话场景的高质量英文 ASR 私有数据集，以防止 benchmaxxing 和测试集污染。榜单默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Google Research精选AI 评分6060 Google Research 发布 ReasoningBank：让智能体从经验中学习
Google Research 在 ICLR 论文中提出智能体记忆框架 ReasoningBank，从成功和失败经验中提炼高层推理模式，用于测试时自我进化。
推荐理由：Google Research 的 ICLR 论文提出从成功与失败经验中提炼推理记忆的框架，并给出 WebArena 与 SWE-Bench-Verified 上的对比数据。
Hugging Face BlogAI 评分3333 QIMMA قِمّة：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة 阿拉伯语 LLM 排行榜，在评测模型前先对基准做质量验证。该榜单整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖文化、STEM、法律、医疗、安全、诗歌文学与代码 7 大领域，其中 99% 为原生阿拉伯语内容，并首次在阿拉伯语排行榜中引入代码评测。
Hugging Face BlogAI 评分4040 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA，一个面向企业级环境的工具接地可执行基准，用于评估 AI 智能体的组合推理与多步工作流执行能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择与多跳推理四类任务，模型整体表现不佳。博客进一步分析了不同任务上观察到的失败模式。
Google ResearchAI 评分4646 Google 推出 Vantage：用生成式 AI 评估未来技能
Google 在 Google Labs 上线研究实验 Vantage，用生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，目前提供英文版并可注册。Vantage 与纽约大学合作开发，由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，188 名 18-25 岁美国测试者的研究显示其评分与人类专家一致度接近专家间一致度。
Google ResearchAI 评分4040 Google 推出 PaperVizAgent 与 ScholarPeer 两款学术 AI 智能体
Google 发布两款学术智能体：PaperVizAgent 负责生成论文配图，ScholarPeer 负责自动同行评审。PaperVizAgent 由检索、规划、风格、可视化、评审五个智能体协作，在 0-100 分评测中总分 60.2，超过 GPT-Image-1.5、Nano-Banana-Pro、Paper2Any，是唯一超过 50.0 人类基线的框架。