OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）能力的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
#评测/基准
OpenAI NewsAI 评分3030
Mistral AIAI 评分3535 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合结构化输出实现 RAG Triad 评估框架，从上下文相关性、有据性和答案相关性三个维度打分。该框架由 TruLens 提出，RAGAS 等类似方案也已出现，用于端到端评估 RAG 系统的检索与生成质量。Mistral 模型可同时充当生成器和评判器，结构化输出让评分标准可复用且易于机器读取。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space，统一收录阿拉伯语 AI 评测，目前包含 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3535 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准考察智能体能否从零复现最先进的 AI 研究成果。
Hugging Face Blog精选AI 评分6161 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列 8B 和 32B 参数视觉语言模型，覆盖 23 种语言，并以开放权重形式发布。
推荐理由：Cohere For AI 公开了 Aya Vision 的架构、训练流程与评测基准，读者可据此了解多语言多模态模型的技术路线与开源权重。
OpenAI NewsAI 评分4242 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成价值 100 万美元的真实自由职业软件工程任务。该基准以真实外包项目为题目，考察模型在实战软件工程中的能力与变现潜力。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上全部 3751 个模型，修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由：原文给出旧评测器失效的具体案例与重评后的分数变化，可据此判断数学评测口径对榜单排名的影响。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构。新版回应社区对阿拉伯语专项任务、评测透明度与数据集多样性的批评。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合发布 DABstep，一个面向多步推理的数据分析智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率，凸显当前模型在真实数据分析场景中的明显差距。DABstep 同时提供数据集、任务、评测、实时排行榜与基线，仅需代码执行环境即可运行并自动评测。
Hugging Face Blog精选AI 评分7171 Hugging Face 开源 Open DeepResearch，GAIA 验证集达 55.15%
Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架，在 GAIA 验证集上达到 55.15%，高于此前开源框架 Magentic-One 的约 46%。
推荐理由：Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架，给出了 GAIA 上的对比数字与代码智能体的取舍依据。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Hugging Face BlogAI 评分3636 Hugging Face Open LLM Leaderboard 揭示模型推理的 CO₂ 排放与性能关系
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算，基于 2742 个模型的推理数据发现，社区微调模型普遍比其官方基础模型更低碳。70B 参数级别中，Qwen2.5 和 Llama3.1 的官方微调耗能约为基础模型的两倍，而 MoE 架构模型的排行榜得分与排放比整体偏低。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio：评估音频语言模型的推理能力
Artificial Analysis 发布 Big Bench Audio，一个从 Big Bench Hard 改编的音频推理评测数据集，含 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face BlogAI 评分3131 LLM 修复自身错误的能力有多强？基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型（5 个约 8B 参数、3 个约 2B 参数），场景是把自然语言日历请求翻译成 Python API 调用。
OpenAI NewsAI 评分1717 Morgan Stanley 如何用 AI 评估塑造金融服务未来
Morgan Stanley 正借助 AI 评估（AI evals）推动金融服务领域的变革。该机构将 AI 评估用于塑造金融服务的未来方向。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。该排行榜采用动态评估策略，数据集与评估代码先进行三个月盲测再公开，随后更换新数据集，以缓解数据污染问题。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式正面对抗，目前支持中文、英文、阿拉伯文和韩文四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 类平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
Hugging Face BlogAI 评分3636 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件在 16 项任务上评估日语大语言模型，涵盖自然语言推理、机器翻译、摘要、问答、代码生成、数学推理和考试题等，任务以 4-shot 方式运行。数据集由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，部分任务需要长上下文推理。
Hugging Face BlogAI 评分5252 Hugging Face 与 Atla 推出 Judge Arena，用投票评测 LLM 裁判能力
Hugging Face 博客发布 Judge Arena，一个让用户对两个 LLM 裁判的评分和理由进行投票对比的平台，投票结果汇总为 Elo 排行榜并每小时更新。
Mistral AI精选AI 评分7676 Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 1B 参数视觉编码器和 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：官方给出 Pixtral Large 的基准成绩与开放权重，读者可据此判断开源多模态模型与闭源前沿的差距。
OpenAI NewsAI 评分2222 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
CGIAR 与 Digital Green 在 Hugging Face 专家支持下为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评估体系，用于衡量 RAG 回答的质量、简洁度与准确性。
OpenAI NewsAI 评分3535 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open FinLLM Leaderboard：金融大模型专用评测榜单
Hugging Face 发布 Open FinLLM Leaderboard，为金融场景提供专门的 LLM 评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集来自金融行业真实挑战，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 Hugging Face 发布 BenCzechMark：首个捷克语 LLM 综合评测基准
Hugging Face 推出 BenCzechMark，这是首个面向捷克语的大语言模型综合评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型，任务覆盖阅读理解、事实知识、捷克语理解、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于更可靠地比较模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2424 LAVE：用 LLM 对 Docmatix 做零样本 VQA 评测，还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 分；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 用 Code Agent 在 GAIA 上取得领先，并公开了工具、执行沙箱与规划策略的实现细节。
Hugging Face BlogAI 评分4040 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，包含 1140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每项任务平均 5.6 个测试用例、分支覆盖率 99%。
Hugging Face BlogAI 评分4848 Artificial Analysis 推出文生图排行榜与竞技场
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face BlogAI 评分4747 Meta 发布 CyberSecEval 2：大语言模型网络安全风险与能力评估框架
Meta 发布 CyberSecEval 2，用于评估 LLM 生成不安全代码、协助网络攻击、被提示词注入操纵以及滥用代码解释器的风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率从 52% 降至 28%。测试还显示提示词注入仍是未解决问题，LLM 目前难以可靠完成端到端漏洞利用。
Hugging Face BlogAI 评分3030 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和比较阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增可基于历史观察迭代的 ReactAgent 等两类智能体，并加入共享功能。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布希伯来语 LLM 开放排行榜，用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式，模型通过 HuggingFace Inference Endpoints 部署并由 lighteval 库评估。
Hugging Face BlogAI 评分4242 Artificial Analysis LLM 性能排行榜上线 Hugging Face
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合评估质量、价格与速度。
Hugging Face BlogAI 评分4040 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 排行榜与评测团队发现，同一 MMLU 任务仅改变提示词格式，5 个模型的得分波动约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%，模型排名也随之改变。为此他们与 .txt 合作，尝试用 Outlines 库的结构化生成约束模型输出，以减少提示词格式带来的评测方差。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量链式推理带来的准确率增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示时的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 与 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face BlogAI 评分4242 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估检测并防止数据污染。
Hugging Face BlogAI 评分4040 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 聊天，尝试套取虚构银行 XYZ001 客户的敏感信息，再投票选出隐私保护更强的模型。