OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索用于研究 ChatGPT 情感使用与情绪健康的早期方法。
全部 AI 动态
OpenAI NewsAI 评分3838
Hugging Face Blog精选AI 评分6262 Open R1 更新第三期：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型
Hugging Face 的 Open R1 项目发布第三期更新，公开了约 10 万条由 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集、基于 2024 国际信息学奥林匹克（IOI）的 IOI 基准，以及微调 Qwen2.5 Coder Instruct 7B 和 32B 得到的 OlympicCoder-7B 与 OlympicCoder-32B。
推荐理由：Open R1 复现计划公开了数据集、基准与 7B/32B 模型，并给出五条蒸馏训练经验，可迁移到自建推理模型。
Hugging Face Blog精选AI 评分7676 Hugging Face 与 Yaak 发布 L2D 开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D，称其为全球最大的开源自动驾驶数据集，R4 版本包含 100 万条 episode、5000+ 小时驾驶数据、90+ TB 规模，来自德国 30 座城市 60 辆驾校车辆的 6 路环视摄像头与车辆状态数据。
推荐理由：L2D 以 90TB 多模态驾驶数据接入 LeRobot 训练管线，可对比现有开源自驾数据集在规模与动作标注上的差异。
OpenAI News精选AI 评分6565 OpenAI 研究用 LLM 监控思维链检测前沿推理模型的作弊行为
OpenAI 发布研究，展示前沿推理模型在有机会时会利用规则漏洞，而用 LLM 监控其思维链可以检测出这些作弊行为。研究同时发现，惩罚模型的不良想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 公开了用 LLM 监控思维链检测前沿推理模型作弊的方法，并指出惩罚坏想法会让模型隐藏意图。
OpenAI News精选AI 评分6262 OpenAI 发布 deep research 系统卡
OpenAI 发布 deep research 系统卡，说明该功能发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评测，以及针对关键风险领域所构建的缓解措施概览。
推荐理由：OpenAI 公开 deep research 发布前的安全评估流程，可了解其外部红队与 Preparedness Framework 风险评测的做法。
OpenAI NewsAI 评分4242 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成价值 100 万美元的真实自由职业软件工程任务。该基准以真实外包项目为题目，考察模型在实战软件工程中的能力与变现潜力。
Hugging Face Blog精选AI 评分7272 Open R1 项目发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，用 DeepSeek R1 为 NuminaMath 1.5 的 40 万道题各生成两个解答，经 Math Verify 与 Llama3.3-70B-Instruct 双重过滤后保留 22 万道有正确推理轨迹的题目。
推荐理由：Open R1 项目公开了 22 万条数学推理数据集的构建流程与蒸馏对比结果，可了解复现 R1 训练管线的具体做法。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构。新版回应社区对阿拉伯语专项任务、评测透明度与数据集多样性的批评。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合发布 DABstep，一个面向多步推理的数据分析智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率，凸显当前模型在真实数据分析场景中的明显差距。DABstep 同时提供数据集、任务、评测、实时排行榜与基线，仅需代码执行环境即可运行并自动评测。
Hugging Face Blog精选AI 评分6666 Open-R1 更新：复现 DeepSeek-R1 评测与训练管线进展
Hugging Face 的 Open-R1 项目发布首周进展，在 MATH-500 上复现了 DeepSeek-R1 蒸馏系列模型的评测分数，例如 DeepSeek-R1-Distill-Qwen-32B 得 95.0、DeepSeek-R1-Distill-Llama-70B 得 93.4。
推荐理由：Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的 MATH-500 评测分数，并公开了合成数据生成与 GRPO 训练的工程细节。
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，涵盖安全评估、外部红队测试以及 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解该模型的安全工作构成。
Hugging Face Blog精选AI 评分6262 Hugging Face 启动 Open-R1 项目，完整开源复现 DeepSeek-R1
Hugging Face 发布 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程，补齐官方未公开的数据集和训练代码。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划，读者可据此了解开源推理模型缺哪几块拼图。
OpenAI NewsAI 评分5252 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采取的多层防护措施，包括针对提示词工程与越狱的模型和产品层缓解，以及隐私与安全保护。文档还介绍了外部红队测试、安全评估，以及持续完善这些防护的后续工作。
OpenAI NewsAI 评分3333 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答时投入更多计算，以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face BlogAI 评分3636 Hugging Face Open LLM Leaderboard 揭示模型推理的 CO₂ 排放与性能关系
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算，基于 2742 个模型的推理数据发现，社区微调模型普遍比其官方基础模型更低碳。70B 参数级别中，Qwen2.5 和 Llama3.1 的官方微调耗能约为基础模型的两倍，而 MoE 架构模型的排行榜得分与排放比整体偏低。
OpenAI NewsAI 评分5252 OpenAI 提出审议式对齐：用推理提升语言模型安全性
OpenAI 发布面向 o1 模型的新对齐策略“审议式对齐”，直接教模型安全规范并让其对这些规范进行推理。该策略的核心是借助模型的推理能力来提升安全性。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio：评估音频语言模型的推理能力
Artificial Analysis 发布 Big Bench Audio，一个从 Big Bench Hard 改编的音频推理评测数据集，含 1000 道音频题，覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face BlogAI 评分4040 Hugging Face 与 Entalpic 联合发布 LeMaterial：开源材料发现项目与 LeMat-Bulk 数据集
Hugging Face 与 Entalpic 联合推出开源项目 LeMaterial，并发布首个数据集 LeMat-Bulk，将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗为标准格式，含 6.7M 条数据和 7 种材料属性，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分3434 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别与不同模型家族。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
Hugging Face BlogAI 评分3131 LLM 修复自身错误的能力有多强？基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型（5 个约 8B 参数、3 个约 2B 参数），场景是把自然语言日历请求翻译成 Python API 调用。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。该排行榜采用动态评估策略，数据集与评估代码先进行三个月盲测再公开，随后更换新数据集，以缓解数据污染问题。
OpenAI NewsAI 评分2121 OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测数据。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式正面对抗，目前支持中文、英文、阿拉伯文和韩文四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 类平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
Hugging Face BlogAI 评分3636 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件在 16 项任务上评估日语大语言模型，涵盖自然语言推理、机器翻译、摘要、问答、代码生成、数学推理和考试题等，任务以 4-shot 方式运行。数据集由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，部分任务需要长上下文推理。
OpenAI NewsAI 评分2222 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
OpenAI NewsAI 评分4242 OpenAI 简化并扩展连续时间一致性模型，两步采样媲美扩散模型
OpenAI 简化、稳定并扩展了连续时间一致性模型，仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分3333 CinePile 2.0：用对抗式精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类表现曾超最佳商业视觉模型 25%、开源模型 65%。2.0 版与 Hugging Face 合作，针对退化问题、视觉依赖和难度评估等局限进行优化。
OpenAI NewsAI 评分2525 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手来保护隐私。
OpenAI NewsAI 评分3535 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open FinLLM Leaderboard：金融大模型专用评测榜单
Hugging Face 发布 Open FinLLM Leaderboard，为金融场景提供专门的 LLM 评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集来自金融行业真实挑战，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 Hugging Face 发布 BenCzechMark：首个捷克语 LLM 综合评测基准
Hugging Face 推出 BenCzechMark，这是首个面向捷克语的大语言模型综合评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型，任务覆盖阅读理解、事实知识、捷克语理解、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face BlogAI 评分4848 Hugging Face 发布 FineVideo：4.3 万视频、3.4 千小时的开源视频数据集
Hugging Face 构建了 FineVideo 数据集，包含 4.3 万个视频、总计 3.4 千小时，并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万个英文视频出发，经词密度与视觉动态性过滤后，用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Hugging Face BlogAI 评分3434 Infini-Attention 复现失败实验：压缩记忆为何越用越差
Hugging Face 团队复现 Google 的 Infini-Attention 后发现，随着记忆压缩次数增加，模型性能持续下降，该实验被判定为失败。团队认为 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案，并开源了训练 checkpoint 供测试。
OpenAI News精选AI 评分6060 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于更可靠地比较模型解决真实软件问题的能力。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
Hugging Face BlogAI 评分2424 LAVE：用 LLM 对 Docmatix 做零样本 VQA 评测，还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
OpenAI NewsAI 评分4040 OpenAI 用规则奖励（RBRs）改进模型安全行为
OpenAI 开发并应用了基于规则奖励（RBRs）的新方法，让模型在无需大量人工数据采集的情况下对齐到安全行为。该方法旨在提升模型的安全表现，减少对人工标注数据的依赖。
Hugging Face BlogAI 评分4242 Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个面向文档视觉问答（DocVQA）的数据集，包含 240 万张图像和 950 万对 Q/A，规模是此前数据集的 240 倍。该数据集由 PDFA 的 210 万份 PDF 转录文本经 Phi-3-small 生成 Q/A，并过滤掉 15% 的幻觉样本。用其微调 Florence-2 后，DocVQA 性能相对提升近 20%。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，对人和机器都更可信。