Hugging Face 与 Entalpic 联合发布 LeMaterial：开源材料发现项目与 LeMat-Bulk 数据集
Hugging Face 与 Entalpic 联合推出开源项目 LeMaterial，并发布首个数据集 LeMat-Bulk，将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗为标准格式，含 6.7M 条数据和 7 种材料属性，采用 CC-BY-4.0 许可。
#论文/研究
Hugging Face BlogAI 评分4040
Hugging Face BlogAI 评分3434 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别与不同模型家族。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
Hugging Face BlogAI 评分3131 LLM 修复自身错误的能力有多强？基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型（5 个约 8B 参数、3 个约 2B 参数），场景是把自然语言日历请求翻译成 Python API 调用。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。该排行榜采用动态评估策略，数据集与评估代码先进行三个月盲测再公开，随后更换新数据集，以缓解数据污染问题。
OpenAI NewsAI 评分2121 OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测数据。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式正面对抗，目前支持中文、英文、阿拉伯文和韩文四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 类平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
OpenAI NewsAI 评分2222 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
OpenAI NewsAI 评分4242 OpenAI 简化并扩展连续时间一致性模型，两步采样媲美扩散模型
OpenAI 简化、稳定并扩展了连续时间一致性模型，仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分3333 CinePile 2.0：用对抗式精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类表现曾超最佳商业视觉模型 25%、开源模型 65%。2.0 版与 Hugging Face 合作，针对退化问题、视觉依赖和难度评估等局限进行优化。
OpenAI NewsAI 评分2525 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手来保护隐私。
OpenAI NewsAI 评分3535 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open FinLLM Leaderboard：金融大模型专用评测榜单
Hugging Face 发布 Open FinLLM Leaderboard，为金融场景提供专门的 LLM 评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集来自金融行业真实挑战，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 Hugging Face 发布 BenCzechMark：首个捷克语 LLM 综合评测基准
Hugging Face 推出 BenCzechMark，这是首个面向捷克语的大语言模型综合评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型，任务覆盖阅读理解、事实知识、捷克语理解、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face BlogAI 评分4848 Hugging Face 发布 FineVideo：4.3 万视频、3.4 千小时的开源视频数据集
Hugging Face 构建了 FineVideo 数据集，包含 4.3 万个视频、总计 3.4 千小时，并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万个英文视频出发，经词密度与视觉动态性过滤后，用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Hugging Face BlogAI 评分3434 Infini-Attention 复现失败实验：压缩记忆为何越用越差
Hugging Face 团队复现 Google 的 Infini-Attention 后发现，随着记忆压缩次数增加，模型性能持续下降，该实验被判定为失败。团队认为 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案，并开源了训练 checkpoint 供测试。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于更可靠地比较模型解决真实软件问题的能力。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
Hugging Face BlogAI 评分2424 LAVE：用 LLM 对 Docmatix 做零样本 VQA 评测，还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
OpenAI NewsAI 评分4040 OpenAI 用规则奖励（RBRs）改进模型安全行为
OpenAI 开发并应用了基于规则奖励（RBRs）的新方法，让模型在无需大量人工数据采集的情况下对齐到安全行为。该方法旨在提升模型的安全表现，减少对人工标注数据的依赖。
Hugging Face BlogAI 评分4242 Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个面向文档视觉问答（DocVQA）的数据集，包含 240 万张图像和 950 万对 Q/A，规模是此前数据集的 240 倍。该数据集由 PDFA 的 210 万份 PDF 转录文本经 Phi-3-small 生成 Q/A，并过滤掉 15% 的幻觉样本。用其微调 Florence-2 后，DocVQA 性能相对提升近 20%。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，对人和机器都更可信。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先做 CoT 数据训练，再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛或微调任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 分；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 用 Code Agent 在 GAIA 上取得领先，并公开了工具、执行沙箱与规划策略的实现细节。
OpenAI NewsAI 评分2727 OpenAI 提出训练一致性模型的改进技术
OpenAI 发布训练一致性模型的改进技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套整体性方法，用于构建面向真实世界内容审核的鲁棒自然语言分类系统。该方法针对不良内容检测，强调在真实场景中兼顾系统的稳健性与实用性。
OpenAI NewsAI 评分3838 OpenAI 提出 Consistency Models 一致性模型
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下生成图像、音频和视频，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展，但其迭代采样过程导致生成缓慢。
Hugging Face BlogAI 评分4040 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，包含 1140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每项任务平均 5.6 个测试用例、分支覆盖率 99%。
OpenAI NewsAI 评分4545 从 GPT-4 中提取概念：OpenAI 用稀疏自编码器识别 1600 万个模式
OpenAI 利用可扩展的稀疏自编码器新技术，自动在 GPT-4 的计算过程中识别出 1600 万个模式。该方法旨在从模型内部提取可理解的概念。
Hugging Face BlogAI 评分4747 Meta 发布 CyberSecEval 2：大语言模型网络安全风险与能力评估框架
Meta 发布 CyberSecEval 2，用于评估 LLM 生成不安全代码、协助网络攻击、被提示词注入操纵以及滥用代码解释器的风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率从 52% 降至 28%。测试还显示提示词注入仍是未解决问题，LLM 目前难以可靠完成端到端漏洞利用。
Hugging Face BlogAI 评分3030 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和比较阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布希伯来语 LLM 开放排行榜，用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式，模型通过 HuggingFace Inference Endpoints 部署并由 lighteval 库评估。
Hugging Face BlogAI 评分4040 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 排行榜与评测团队发现，同一 MMLU 任务仅改变提示词格式，5 个模型的得分波动约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%，模型排名也随之改变。为此他们与 .txt 合作，尝试用 Outlines 库的结构化生成约束模型输出，以减少提示词格式带来的评测方差。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量链式推理带来的准确率增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示时的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 与 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分4040 Hugging Face 开源多面手 Transformer 智能体 JAT：通用智能体训练数据集与模型发布
Hugging Face 发布 Jack of All Trades（JAT）项目，开源首个通用智能体训练数据集 JAT dataset 及基于 GPT-Neo 的 Transformer 智能体模型，可玩视频游戏、控制机器人并执行导航指令。
OpenAI NewsAI 评分5050 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗性提示词覆盖原始指令，该方法旨在解决这一安全问题。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face BlogAI 评分4242 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估检测并防止数据污染。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了构建 250 亿 token 合成预训练数据集的完整流程与代码，可供复现和迁移。
Hugging Face BlogAI 评分4040 Hugging Face 发布 WebSight 数据集，用视觉语言模型将网页截图转为 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码，v0.1 版包含 823,000 对 HTML 代码与对应截图，v0.2 版改用真实图像和 Tailwind CSS 并扩展至 200 万样本。基于该数据集微调的视觉语言模型 Sightseer 能将网页截图转为可用的 HTML 代码，并支持在生成代码中嵌入与原截图相近的图像。