跳到正文
10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再根据其留下的后端终态和副作用判分,而非看它生成的回答。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非回答文本判分,并给出 20 次重复下的稳定性与成本对比。

10月2日周五
9月30日周三
  1. Simon Willison65

    Anthropic 红队:GLM-5.3 与 Claude Mythos Preview 在二进制漏洞利用基准上的表现

    Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 中随机抽取 100 个任务评测多个模型,GLM-5.3 在 4% 的试验中实现完整的控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力门槛已被跨过。

9月23日周三
9月16日周三
9月2日周三
  1. Hugging Face Blog32

    Hugging Face 推出 BenchMIRT:审计 LLM 基准测试究竟在测什么

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,可分离同一基准中混杂的不同能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练,在未被告知基准对应能力的情况下自动恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强,单一基准分数可能混合多种信号。

8月28日周五
  1. Hugging Face Blog62

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 上新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。

    推荐理由:Open ASR Leaderboard 首次纳入印地语与印度英语评测集,读者可了解多语言语音评测如何按说话人属性拆解误差。

8月21日周五
  1. Hugging Face Blog66

    Hugging Face 研究量化语音识别中的基准优化现象

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。结果显示部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾或相关词已被静音,在 LibriSpeech 上部分模型复现被静音数字的比例约为 30–40%。

    推荐理由:通过三项探针量化 ASR 模型的基准优化行为,并给出可复用的检测脚本与榜单入口。

8月19日周三
8月13日周四
  1. Hugging Face Blog71

    Hugging Face 用智能体复现 ICML 2026 的 2226 篇论文

    Hugging Face 在 7 月 15 日至 8 月 2 日的黑客松中,组织 1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体复现 ICML 2026 论文,共发布 6816 份 Trackio logbook,覆盖 2226 篇论文,约占会议论文的三分之一。

    推荐理由:Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文,给出了大规模论文复现的可行路径与人类角色的具体分工。

  2. Microsoft Research40

    MindTopo:微软研究院推出评估 VLM 拓扑空间推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列仍不可靠。

8月12日周三
8月11日周二
7月31日周五
7月27日周一
  1. Import AI62

    Epoch 与 METR 发布 MirrorCode 长周期编程基准

    Epoch 与 METR 发布 MirrorCode 基准,考察 AI 仅凭 CLI 访问重新实现软件程序的能力,覆盖 25 个目标程序。Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务,17/25 的目标程序至少有一次满分运行,但 8/25 从未达到 100% 阈值,ruff、giac_subset 和 mailauth 最难。

7月16日周四
7月15日周三
7月8日周三
7月1日周三
6月30日周二
6月24日周三
6月17日周三
4月22日周三
4月21日周二
  1. Hugging Face Blog33

    QIMMA قِمّة:Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜

    Hugging Face 发布 QIMMA قِمّة 阿拉伯语 LLM 排行榜,在评测模型前先对基准做质量验证。该榜单整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖文化、STEM、法律、医疗、安全、诗歌文学与代码 7 大领域,其中 99% 为原生阿拉伯语内容,并首次在阿拉伯语排行榜中引入代码评测。

4月15日周三
  1. Hugging Face Blog40

    VAKRA 基准解析:AI 智能体的推理、工具调用与失败模式

    Hugging Face 发布 VAKRA,一个面向企业级环境的工具接地可执行基准,用于评估 AI 智能体的组合推理与多步工作流执行能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域,任务需 3-7 步推理链,包含 API 链式调用、工具选择与多跳推理四类任务,模型整体表现不佳。博客进一步分析了不同任务上观察到的失败模式。

4月9日周四
4月3日周五
4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 与 Falcon OCR 模型

    阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1,高于 SAM 3 的 62.3,但在存在性校准上落后(MCC 0.64 对 0.82)。

    推荐理由:原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比,可据此判断单骨干架构在开放词汇感知上的取舍。

3月24日周二
3月18日周三
  1. Google DeepMind46

    Google DeepMind 发布 AGI 认知框架,并启动 Kaggle 黑客松

    Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》,提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项能力的认知分类框架,并配套三阶段评估协议,用留出测试集防数据污染、采集具人口代表性的人类基线、将 AI 表现映射到人类表现分布。

3月17日周二
  1. Google Research40

    Google 用高温超导研究问题测试 LLM 世界模型

    Google 与康奈尔大学合作,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位专家按 6 项指标盲评打分。基于 1,726 篇受控文献的 NotebookLM 在多数维度表现最佳,自建 RAG 系统紧随其后,所有系统均有待改进之处。