内容形态
模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
41 条精选近 30 天 10 条共收录 170 条
Google DeepMind 发布 Gemini 3 Deep Think 重大升级，面向科学、研究与工程难题，已在 Gemini 应用中向 Google AI Ultra 订阅用户开放，并首次通过 Gemini API 向部分研究者、工程师和企业提供早期访问。
推荐理由：官方给出 Deep Think 在 HLE、ARC-AGI-2、Codeforces 等基准上的具体成绩，并首次开放 API 早期访问，可据此判断其科研与工程场景的可用性。
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库现在可以注册为 benchmark 并自动聚合全站上报的评测结果，在数据集卡片中展示排行榜。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可据此了解评测结果如何被公开、复现与追溯。
Mistral 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，围绕可观测性、Agent Runtime 和 AI Registry 三大支柱构建。
推荐理由：Mistral 把自家大规模系统的可观测、执行与治理能力产品化，读者可据此判断企业 AI 从原型走向生产的工程路径。
BigCode 项目发布 BigCodeArena，这是首个通过实际执行代码来评测代码生成模型的人类参与平台，用户可提交编程任务、对比两个模型的生成结果并运行代码后投票。
推荐理由：BigCodeArena 把代码执行结果引入人类投票评测，读者可据此了解代码模型评测为何需要运行而非只看源码。
Hugging Face 发布 GAIA 的后续基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出可复现的开源环境与调试轨迹。
Hugging Face 博客宣布由 Cloud Security Alliance 和 Noma Security 主导、Haize Labs 与 Harmonic Security 参与贡献的 RiskRubric.ai，为模型提供标准化风险评估。
推荐理由：原文给出六个风险维度的评分框架与首批评测分布，读者可据此理解模型安全评估的标准化路径。
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Mistral AI 与 All Hands AI 合作发布智能体 LLM Devstral，在 SWE-Bench Verified 上取得 46.8%，比此前开源 SOTA 高出 6 个百分点以上，并以 Apache 2.0 许可开源。
推荐理由：Devstral 在 SWE-Bench Verified 上以 46.8% 超过此前开源 SOTA 逾 6 个百分点，并给出单卡 4090 可跑的本地部署路径。
Cohere For AI 发布 Aya Vision 系列 8B 和 32B 参数视觉语言模型，覆盖 23 种语言，并以开放权重形式发布。
推荐理由：Cohere For AI 公开了 Aya Vision 的架构、训练流程与评测基准，读者可据此了解多语言多模态模型的技术路线与开源权重。
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上全部 3751 个模型，修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由：原文给出旧评测器失效的具体案例与重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架，在 GAIA 验证集上达到 55.15%，高于此前开源框架 Magentic-One 的约 46%。
推荐理由：Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架，给出了 GAIA 上的对比数字与代码智能体的取舍依据。
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 1B 参数视觉编码器和 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：官方给出 Pixtral Large 的基准成绩与开放权重，读者可据此判断开源多模态模型与闭源前沿的差距。
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于更可靠地比较模型解决真实软件问题的能力。
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 分；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 用 Code Agent 在 GAIA 上取得领先，并公开了工具、执行沙箱与规划策略的实现细节。
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增可基于历史观察迭代的 ReactAgent 等两类智能体，并加入共享功能。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face 发布博客，介绍如何用 LangChain 新集成的 ChatHuggingFace 封装把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字。
推荐理由：同一份 MMLU 数据集在三种实现下分数与排名都不同，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face 发布 MTEB，一个衡量文本嵌入模型在多种嵌入任务上表现的基准，包含 8 类任务、56 个数据集，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总到同一榜单，读者可据此理解文本嵌入模型的评测维度与取舍。
Hugging Face 推出 Evaluation on the Hub，由 AutoTrain 驱动，用户无需写代码即可在 Hub 上用任意数据集和指标评测模型。评测结果会以 PR 形式写入模型卡的元数据，并可在数据集页查看排行榜；官方已用该工具评测数百个模型并提交了对应 PR。工具支持为任务寻找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型三种场景。
推荐理由：Hugging Face 把模型评测做成 Hub 上的一键流程，读者可了解免代码评测与结果写入模型卡的做法。