Hugging Face 发布 Gaia2 智能体基准与 Meta ARE 开源框架
Hugging Face 发布 GAIA 的后续基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出可复现的开源环境与调试轨迹。
内容形态
评测基准 最新动态
模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
79 条精选近 30 天 29 条共收录 299 条
更新
精选归档 · 第 4 页
Hugging Face Blog精选AI 评分6666
Hugging Face Blog精选AI 评分6060 Hugging Face 联合发布 RiskRubric.ai 模型风险评估平台
Hugging Face 博客宣布由 Cloud Security Alliance 和 Noma Security 主导、Haize Labs 与 Harmonic Security 参与贡献的 RiskRubric.ai，为模型提供标准化风险评估。
推荐理由：原文给出六个风险维度的评分框架与首批评测分布，读者可据此理解模型安全评估的标准化路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Mistral AI精选AI 评分7171 Mistral AI 发布智能体编码模型 Devstral
Mistral AI 与 All Hands AI 合作发布智能体 LLM Devstral，在 SWE-Bench Verified 上取得 46.8%，比此前开源 SOTA 高出 6 个百分点以上，并以 Apache 2.0 许可开源。
推荐理由：Devstral 在 SWE-Bench Verified 上以 46.8% 超过此前开源 SOTA 逾 6 个百分点，并给出单卡 4090 可跑的本地部署路径。
Hugging Face Blog精选AI 评分6161 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列 8B 和 32B 参数视觉语言模型，覆盖 23 种语言，并以开放权重形式发布。
推荐理由：Cohere For AI 公开了 Aya Vision 的架构、训练流程与评测基准，读者可据此了解多语言多模态模型的技术路线与开源权重。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上全部 3751 个模型，修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由：原文给出旧评测器失效的具体案例与重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face Blog精选AI 评分7171 Hugging Face 开源 Open DeepResearch，GAIA 验证集达 55.15%
Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架，在 GAIA 验证集上达到 55.15%，高于此前开源框架 Magentic-One 的约 46%。
推荐理由：Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架，给出了 GAIA 上的对比数字与代码智能体的取舍依据。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Mistral AI精选AI 评分7676 Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 1B 参数视觉编码器和 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：官方给出 Pixtral Large 的基准成绩与开放权重，读者可据此判断开源多模态模型与闭源前沿的差距。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于更可靠地比较模型解决真实软件问题的能力。
Modal Blog精选AI 评分6262 用 100 个 LLaMA 3.1 8B 在 HumanEval 上追平 GPT-4o
Modal 团队用 LLaMA 3.1 8B Instruct 在 HumanEval 上做多次采样搜索，pass@100 达到 90.5%，略高于 GPT-4o 报告的 pass@1 90.2%，pass@1000 则升至 95.1%。
推荐理由：作者用不到 50 美元复现了搜索扩展的核心结论，读者可据此理解小模型靠多次采样逼近前沿模型的条件。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 分；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 用 Code Agent 在 GAIA 上取得领先，并公开了工具、执行沙箱与规划策略的实现细节。
Anthropic News精选AI 评分6060 Anthropic 发起第三方模型评测资助计划
Anthropic 宣布一项新计划，资助第三方机构开发能有效衡量 AI 模型高级能力的评测，以缓解当前安全相关评测供不应求的局面。
推荐理由：Anthropic 公开了第三方模型评测的资助方向与优先级，可据此了解前沿实验室如何定义安全评测需求。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增可基于历史观察迭代的 ReactAgent 等两类智能体，并加入共享功能。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：Mixtral 在基准上超过 GPT-3.5
Hugging Face 发布博客，介绍如何用 LangChain 新集成的 ChatHuggingFace 封装把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face Blog精选AI 评分6262 Open LLM Leaderboard 的 MMLU 分数为何对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字。
推荐理由：同一份 MMLU 数据集在三种实现下分数与排名都不同，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 大规模文本嵌入基准
Hugging Face 发布 MTEB，一个衡量文本嵌入模型在多种嵌入任务上表现的基准，包含 8 类任务、56 个数据集，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总到同一榜单，读者可据此理解文本嵌入模型的评测维度与取舍。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Evaluation on the Hub，可在 Hub 上免代码评测任意模型
Hugging Face 推出 Evaluation on the Hub，由 AutoTrain 驱动，用户无需写代码即可在 Hub 上用任意数据集和指标评测模型。评测结果会以 PR 形式写入模型卡的元数据，并可在数据集页查看排行榜；官方已用该工具评测数百个模型并提交了对应 PR。工具支持为任务寻找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型三种场景。
推荐理由：Hugging Face 把模型评测做成 Hub 上的一键流程，读者可了解免代码评测与结果写入模型卡的做法。
OpenAI News精选AI 评分7070 OpenAI Five 基准测试结果：三局两胜击败 99.95 百分位 Dota 玩家队伍
OpenAI Five 在一场三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍，其中四人曾打过职业 Dota。比赛在 10 万名同时在线观众面前现场进行。