Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
#评测/基准
Google ResearchAI 评分4040
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Perception 与 Falcon OCR 模型
阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词汇定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干架构在开放词汇感知上的取舍。
Google ResearchAI 评分3535 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，并已将模拟器在 GitHub 开源。
Hugging Face BlogAI 评分5252 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确性）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与会话体验的框架。
Google DeepMindAI 评分4646 Google DeepMind 发布 AGI 认知框架，并启动 Kaggle 黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项能力的认知分类框架，并配套三阶段评估协议，用留出测试集防数据污染、采集具人口代表性的人类基线、将 AI 表现映射到人类表现分布。
Google ResearchAI 评分4040 Google 用高温超导研究问题测试 LLM 世界模型
Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位专家按 6 项指标盲评打分。基于 1,726 篇受控文献的 NotebookLM 在多数维度表现最佳，自建 RAG 系统紧随其后，所有系统均有待改进之处。
OpenAI NewsAI 评分3131 OpenAI 与 Pacific Northwest National Laboratory 合作推出 DraftNEPABench，加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 联合推出 DraftNEPABench，用于评估 AI 编程智能体如何加速联邦许可审批。该基准显示，NEPA 文件起草时间有望最多缩短 15%，助力基础设施审查现代化。
OpenAI News精选AI 评分6060 OpenAI 解释为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测，理由是这一基准正日益受到污染，无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题，并建议改用 SWE-bench Pro。
推荐理由：OpenAI 说明 SWE-bench Verified 存在污染与测试缺陷，并给出替代基准建议，可供关注编码评测的人参考。
Hugging Face Blog精选AI 评分6060 IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 合作，用 MAST（多智能体系统失败分类法）分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
推荐理由：IBM 与 UC Berkeley 用 MAST 分类法拆解 310 条 ITBench 执行轨迹，给出不同模型失败模式的差异与对应工程干预方向。
OpenAI NewsAI 评分3838 OpenAI 与 Paradigm 推出 EVMbench，评估 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞场景，覆盖发现、修复与攻击三类任务。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3 Deep Think 升级版
Google DeepMind 发布 Gemini 3 Deep Think 重大升级，面向科学、研究与工程难题，已在 Gemini 应用中向 Google AI Ultra 订阅用户开放，并首次通过 Gemini API 向部分研究者、工程师和企业提供早期访问。
推荐理由：官方给出 Deep Think 在 HLE、ARC-AGI-2、Codeforces 等基准上的具体成绩，并首次开放 API 早期访问，可据此判断其科研与工程场景的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Community Evals，基准数据集可托管排行榜
Hugging Face 在 Hub 上线 Community Evals，基准数据集仓库现在可以注册为 benchmark 并自动聚合全站上报的评测结果，在数据集卡片中展示排行榜。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可据此了解评测结果如何被公开、复现与追溯。
Hugging Face BlogAI 评分4242 H Company 发布 Holo2-235B-A22B Preview，UI 定位刷新 SOTA
H Company 发布迄今最大的 UI 定位模型 Holo2-235B-A22B Preview，在 ScreenSpot-Pro 上以 3 步智能体模式达到 78.5%、OSWorld G 达 79.0%，创下新 SOTA。
Google ResearchAI 评分5858 Google Research 论文：智能体系统缩放的科学，多智能体何时有效
Google Research 发布论文《Towards a Science of Scaling Agent Systems》，对 180 组智能体配置做大规模对照评测，得出首批智能体系统的量化缩放原则，指出“智能体越多越好”常会触顶甚至降低表现。
Hugging Face BlogAI 评分2525 Hugging Face 发布 Alyah：面向阿拉伯语 LLM 阿联酋方言能力的评测基准
Hugging Face 团队推出阿联酋方言评测基准 Alyah（阿拉伯语意为"北极星"），包含 1,173 条由阿联酋母语者手工采集的样本，均为四选一选择题。
Hugging Face BlogAI 评分3636 Hugging Face 发布 AssetOpsBench：面向工业资产生命周期管理的 AI 智能体评测基准
Hugging Face 推出 AssetOpsBench，一个面向工业资产生命周期管理的 AI 智能体评测基准，覆盖 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Hugging Face BlogAI 评分5050 NVIDIA 用 NeMo Evaluator 开源 Nemotron 3 Nano 30B A3B 完整评测方案
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复跑评测流程并独立核验结果。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 执行科研任务的能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的程度。
Google DeepMindAI 评分4242 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3513 个公开样例，另设私有留出集。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的 Massive Sound Embedding Benchmark
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项核心能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3636 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道
Hugging Face 的 Open ASR Leaderboard 新增多语言和长音频转录赛道，截至 2025 年 11 月 21 日已对比来自 18 个机构的 60+ 个开源与闭源模型、覆盖 11 个数据集。
OpenAI NewsAI 评分2222 OpenAI 解读 evals 如何推动企业 AI 进入下一阶段
OpenAI 发文阐述 evals 如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。文章面向企业场景，说明 evals 在 AI 落地中的作用。
OpenAI NewsAI 评分3535 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统印度语言能力的新基准，由领域专家共建，覆盖 12 种语言和 10 个知识领域，重点考察文化理解与推理能力。
Mistral AI精选AI 评分6262 Mistral 发布 AI Studio 生产级 AI 平台
Mistral 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，围绕可观测性、Agent Runtime 和 AI Registry 三大支柱构建。
推荐理由：Mistral 把自家大规模系统的可观测、执行与治理能力产品化，读者可据此判断企业 AI 从原型走向生产的工程路径。
Hugging Face Blog精选AI 评分6060 BigCode 发布 BigCodeArena：通过代码执行端到端评测代码生成模型
BigCode 项目发布 BigCodeArena，这是首个通过实际执行代码来评测代码生成模型的人类参与平台，用户可提交编程任务、对比两个模型的生成结果并运行代码后投票。
推荐理由：BigCodeArena 把代码执行结果引入人类投票评测，读者可据此了解代码模型评测为何需要运行而非只看源码。
Hugging Face BlogAI 评分3838 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用于评估 embedding 模型在真实应用中的检索准确率。该基准采用公开与私有数据集混合策略，私有部分由 MTEB 维护者评测，以检测模型在未见数据上的泛化能力，覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10。
OpenAI NewsAI 评分4040 OpenAI 推出 GDPval：在 44 种职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实世界、具有经济价值任务上表现的新评测，覆盖 44 种职业。该评测用于评估模型在现实工作任务中的实际能力表现。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 Meta ARE 开源框架
Hugging Face 发布 GAIA 的后续基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出可复现的开源环境与调试轨迹。
Hugging Face Blog精选AI 评分6060 Hugging Face 联合发布 RiskRubric.ai 模型风险评估平台
Hugging Face 博客宣布由 Cloud Security Alliance 和 Noma Security 主导、Haize Labs 与 Harmonic Security 参与贡献的 RiskRubric.ai，为模型提供标准化风险评估。
推荐理由：原文给出六个风险维度的评分框架与首批评测分布，读者可据此理解模型安全评估的标准化路径。
Hugging Face BlogAI 评分3535 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分2828 Hugging Face 发布 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解与生成四大类共 12 项任务，并已评测 20+ 个 SOTA LLM。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个评估阿拉伯语 LLM 在 STEM 与代码生成任务上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码基准。
Hugging Face BlogAI 评分4242 TimeScope：你的视频大模型能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"needle"片段，评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分4040 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场与新闻生成任务，评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，每周约产出 5 个新闻类问题，另从 Polymarket 每周引入约 8 个问题。其设计使数据污染不可能发生，结果可随时间客观验证。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Ettin 套件：同配方训练的 SoTA 配对编码器与解码器
Hugging Face 发布 Ettin 套件，这是首个用完全相同的数据（2T tokens）、架构和训练配方训练的 SoTA 配对编码器与解码器模型系列，参数规模覆盖 17M 到 1B。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Mistral AI精选AI 评分7171 Mistral AI 发布智能体编码模型 Devstral
Mistral AI 与 All Hands AI 合作发布智能体 LLM Devstral，在 SWE-Bench Verified 上取得 46.8%，比此前开源 SOTA 高出 6 个百分点以上，并以 Apache 2.0 许可开源。
推荐理由：Devstral 在 SWE-Bench Verified 上以 46.8% 超过此前开源 SOTA 逾 6 个百分点，并给出单卡 4090 可跑的本地部署路径。
OpenAI NewsAI 评分4242 OpenAI 发布医疗 AI 评测基准 HealthBench
OpenAI 推出面向医疗场景的 AI 评测基准 HealthBench，用于在真实情境中评估模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分4242 HELMET：全面评估长上下文语言模型的基准
Hugging Face 发布 HELMET（How to Evaluate Long-Context Models Effectively and Thoroughly），一个从多样性、可控性和可靠性三方面改进的长上下文语言模型评测基准，已评估 59 个近期 LCLM。