H Company 发布 Holo2-235B-A22B Preview，UI 定位刷新 SOTA
H Company 发布迄今最大的 UI 定位模型 Holo2-235B-A22B Preview，在 ScreenSpot-Pro 上以 3 步智能体模式达到 78.5%、OSWorld G 达 79.0%，创下新 SOTA。
#评测/基准
Hugging Face BlogAI 评分4242
Google ResearchAI 评分5858 Google Research 论文：智能体系统缩放的科学，多智能体何时有效
Google Research 发布论文《Towards a Science of Scaling Agent Systems》，对 180 组智能体配置做大规模对照评测，得出首批智能体系统的量化缩放原则，指出“智能体越多越好”常会触顶甚至降低表现。
Hugging Face BlogAI 评分2525 Hugging Face 发布 Alyah：面向阿拉伯语 LLM 阿联酋方言能力的评测基准
Hugging Face 团队推出阿联酋方言评测基准 Alyah（阿拉伯语意为"北极星"），包含 1,173 条由阿联酋母语者手工采集的样本，均为四选一选择题。
Hugging Face BlogAI 评分3636 Hugging Face 发布 AssetOpsBench：面向工业资产生命周期管理的 AI 智能体评测基准
Hugging Face 推出 AssetOpsBench，一个面向工业资产生命周期管理的 AI 智能体评测基准，覆盖 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Hugging Face BlogAI 评分5050 NVIDIA 用 NeMo Evaluator 开源 Nemotron 3 Nano 30B A3B 完整评测方案
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复跑评测流程并独立核验结果。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 执行科研任务的能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的程度。
Google DeepMindAI 评分4242 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3513 个公开样例，另设私有留出集。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的 Massive Sound Embedding Benchmark
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项核心能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3636 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道
Hugging Face 的 Open ASR Leaderboard 新增多语言和长音频转录赛道，截至 2025 年 11 月 21 日已对比来自 18 个机构的 60+ 个开源与闭源模型、覆盖 11 个数据集。
OpenAI NewsAI 评分2222 OpenAI 解读 evals 如何推动企业 AI 进入下一阶段
OpenAI 发文阐述 evals 如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。文章面向企业场景，说明 evals 在 AI 落地中的作用。
OpenAI NewsAI 评分3535 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统印度语言能力的新基准，由领域专家共建，覆盖 12 种语言和 10 个知识领域，重点考察文化理解与推理能力。
Mistral AI精选AI 评分6262 Mistral 发布 AI Studio 生产级 AI 平台
Mistral 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，围绕可观测性、Agent Runtime 和 AI Registry 三大支柱构建。
推荐理由：Mistral 把自家大规模系统的可观测、执行与治理能力产品化，读者可据此判断企业 AI 从原型走向生产的工程路径。
Hugging Face Blog精选AI 评分6060 BigCode 发布 BigCodeArena：通过代码执行端到端评测代码生成模型
BigCode 项目发布 BigCodeArena，这是首个通过实际执行代码来评测代码生成模型的人类参与平台，用户可提交编程任务、对比两个模型的生成结果并运行代码后投票。
推荐理由：BigCodeArena 把代码执行结果引入人类投票评测，读者可据此了解代码模型评测为何需要运行而非只看源码。
Hugging Face BlogAI 评分3838 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用于评估 embedding 模型在真实应用中的检索准确率。该基准采用公开与私有数据集混合策略，私有部分由 MTEB 维护者评测，以检测模型在未见数据上的泛化能力，覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10。
OpenAI NewsAI 评分4040 OpenAI 推出 GDPval：在 44 种职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实世界、具有经济价值任务上表现的新评测，覆盖 44 种职业。该评测用于评估模型在现实工作任务中的实际能力表现。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 Meta ARE 开源框架
Hugging Face 发布 GAIA 的后续基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出可复现的开源环境与调试轨迹。
Hugging Face Blog精选AI 评分6060 Hugging Face 联合发布 RiskRubric.ai 模型风险评估平台
Hugging Face 博客宣布由 Cloud Security Alliance 和 Noma Security 主导、Haize Labs 与 Harmonic Security 参与贡献的 RiskRubric.ai，为模型提供标准化风险评估。
推荐理由：原文给出六个风险维度的评分框架与首批评测分布，读者可据此理解模型安全评估的标准化路径。
Hugging Face BlogAI 评分3535 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分2828 Hugging Face 发布 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解与生成四大类共 12 项任务，并已评测 20+ 个 SOTA LLM。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个评估阿拉伯语 LLM 在 STEM 与代码生成任务上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码基准。
Hugging Face BlogAI 评分4242 TimeScope：你的视频大模型能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"needle"片段，评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分4040 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场与新闻生成任务，评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，每周约产出 5 个新闻类问题，另从 Polymarket 每周引入约 8 个问题。其设计使数据污染不可能发生，结果可随时间客观验证。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Ettin 套件：同配方训练的 SoTA 配对编码器与解码器
Hugging Face 发布 Ettin 套件，这是首个用完全相同的数据（2T tokens）、架构和训练配方训练的 SoTA 配对编码器与解码器模型系列，参数规模覆盖 17M 到 1B。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Mistral AI精选AI 评分7171 Mistral AI 发布智能体编码模型 Devstral
Mistral AI 与 All Hands AI 合作发布智能体 LLM Devstral，在 SWE-Bench Verified 上取得 46.8%，比此前开源 SOTA 高出 6 个百分点以上，并以 Apache 2.0 许可开源。
推荐理由：Devstral 在 SWE-Bench Verified 上以 46.8% 超过此前开源 SOTA 逾 6 个百分点，并给出单卡 4090 可跑的本地部署路径。
OpenAI NewsAI 评分4242 OpenAI 发布医疗 AI 评测基准 HealthBench
OpenAI 推出面向医疗场景的 AI 评测基准 HealthBench，用于在真实情境中评估模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分4242 HELMET：全面评估长上下文语言模型的基准
Hugging Face 发布 HELMET（How to Evaluate Long-Context Models Effectively and Thoroughly），一个从多样性、可控性和可靠性三方面改进的长上下文语言模型评测基准，已评估 59 个近期 LCLM。
OpenAI NewsAI 评分3030 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）能力的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
Mistral AIAI 评分3535 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合结构化输出实现 RAG Triad 评估框架，从上下文相关性、有据性和答案相关性三个维度打分。该框架由 TruLens 提出，RAGAS 等类似方案也已出现，用于端到端评估 RAG 系统的检索与生成质量。Mistral 模型可同时充当生成器和评判器，结构化输出让评分标准可复用且易于机器读取。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space，统一收录阿拉伯语 AI 评测，目前包含 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3535 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准考察智能体能否从零复现最先进的 AI 研究成果。
Hugging Face Blog精选AI 评分6161 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列 8B 和 32B 参数视觉语言模型，覆盖 23 种语言，并以开放权重形式发布。
推荐理由：Cohere For AI 公开了 Aya Vision 的架构、训练流程与评测基准，读者可据此了解多语言多模态模型的技术路线与开源权重。
OpenAI NewsAI 评分4242 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成价值 100 万美元的真实自由职业软件工程任务。该基准以真实外包项目为题目，考察模型在实战软件工程中的能力与变现潜力。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上全部 3751 个模型，修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由：原文给出旧评测器失效的具体案例与重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构。新版回应社区对阿拉伯语专项任务、评测透明度与数据集多样性的批评。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合发布 DABstep，一个面向多步推理的数据分析智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率，凸显当前模型在真实数据分析场景中的明显差距。DABstep 同时提供数据集、任务、评测、实时排行榜与基线，仅需代码执行环境即可运行并自动评测。
Hugging Face Blog精选AI 评分7171 Hugging Face 开源 Open DeepResearch，GAIA 验证集达 55.15%
Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架，在 GAIA 验证集上达到 55.15%，高于此前开源框架 Magentic-One 的约 46%。
推荐理由：Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架，给出了 GAIA 上的对比数字与代码智能体的取舍依据。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Hugging Face BlogAI 评分3636 Hugging Face Open LLM Leaderboard 揭示模型推理的 CO₂ 排放与性能关系
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算，基于 2742 个模型的推理数据发现，社区微调模型普遍比其官方基础模型更低碳。70B 参数级别中，Qwen2.5 和 Llama3.1 的官方微调耗能约为基础模型的两倍，而 MoE 架构模型的排行榜得分与排放比整体偏低。