Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先做 CoT 数据训练，再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛或微调任务。
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 分；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 用 Code Agent 在 GAIA 上取得领先，并公开了工具、执行沙箱与规划策略的实现细节。
OpenAI 发布训练一致性模型的改进技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI 提出一套整体性方法，用于构建面向真实世界内容审核的鲁棒自然语言分类系统。该方法针对不良内容检测，强调在真实场景中兼顾系统的稳健性与实用性。
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下生成图像、音频和视频，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展，但其迭代采样过程导致生成缓慢。
Hugging Face 发布 BigCodeBench，包含 1140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每项任务平均 5.6 个测试用例、分支覆盖率 99%。
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
OpenAI 利用可扩展的稀疏自编码器新技术，自动在 GPT-4 的计算过程中识别出 1600 万个模式。该方法旨在从模型内部提取可理解的概念。
Meta 发布 CyberSecEval 2，用于评估 LLM 生成不安全代码、协助网络攻击、被提示词注入操纵以及滥用代码解释器的风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率从 52% 降至 28%。测试还显示提示词注入仍是未解决问题，LLM 目前难以可靠完成端到端漏洞利用。
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和比较阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face 发布希伯来语 LLM 开放排行榜，用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式，模型通过 HuggingFace Inference Endpoints 部署并由 lighteval 库评估。
Hugging Face 排行榜与评测团队发现，同一 MMLU 任务仅改变提示词格式，5 个模型的得分波动约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%，模型排名也随之改变。为此他们与 .txt 合作，尝试用 Outlines 库的结构化生成约束模型输出，以减少提示词格式带来的评测方差。
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示时的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 与 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face 发布 Jack of All Trades（JAT）项目，开源首个通用智能体训练数据集 JAT dataset 及基于 GPT-Neo 的 Transformer 智能体模型，可玩视频游戏、控制机器人并执行导航指令。
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗性提示词覆盖原始指令，该方法旨在解决这一安全问题。
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估检测并防止数据污染。
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了构建 250 亿 token 合成预训练数据集的完整流程与代码，可供复现和迁移。
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码，v0.1 版包含 823,000 对 HTML 代码与对应截图，v0.2 版改用真实图像和 Tailwind CSS 并扩展至 200 万样本。基于该数据集微调的视觉语言模型 Sightseer 能将网页截图转为可用的 HTML 代码，并支持在生成代码中嵌入与原截图相近的图像。
UCLA 研究者推出 ConTextual，一个面向 LMM 的上下文敏感文本密集视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。首轮评测 13 个模型，GPT-4V 表现最佳，在抽象推理上超过人类，但在时间相关任务上不及人类；开源模型在多数领域表现明显落后。用 OCR 或图像描述增强 LLM 的方案人类通过率仅 17.2%。
Hugging Face 发布 TTS Arena，借鉴 LMSys 的 Chatbot Arena，让用户输入文本后听两个模型朗读并投票选出更自然的一个，投票前不显示模型名称。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。该基准整合 AdvBench、AART、Beavertails、Do Not Answer 等红队数据集，用 LlamaGuard 与 GPT-4 判定回答是否安全，并按伤害与暴力、犯罪、隐私等违规类别细分评分。
Upstage 在 Hugging Face 上发起 Open Ko-LLM Leaderboard，为韩语大模型提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA、Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
OpenAI 发布研究说明，介绍在视频数据上大规模训练生成模型的工作，将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像，并采用在视频和图像 latent code 的时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果提示扩展视频生成模型是构建物理世界通用模拟器的一条可行路径。
推荐理由：OpenAI 官方披露 Sora 的技术路线，说明视频生成模型被当作物理世界通用模拟器来训练。
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，用计算复杂度类别评估 LLM 推理能力。
OpenAI 正在构建一套评估框架，用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中，GPT-4 对生物威胁创建准确率的提升最多为轻微程度。OpenAI 表示这一提升幅度尚不足以得出定论，但可作为后续研究与社区讨论的起点。
Patronus 团队联合 Hugging Face 发布 Enterprise Scenarios Leaderboard，用于评估语言模型在真实企业场景中的表现。
Hugging Face 推出 Hallucinations Leaderboard，通过 in-context learning 在 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER、HaluEval 等基准上评测大语言模型的幻觉表现。
Hugging Face 推出 LLM Safety Leaderboard，基于 DecodingTrust 的 red-teaming 方法对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上，用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法，并扫描 β 等关键超参数。
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向，探索能否利用深度学习的泛化特性，用弱监督者控制更强的模型，并给出了初步的积极结果。
Hugging Face 与 Intel Labs 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查，发现多数模型 f1-score 低于 10 分源于评测实现问题：数字后跟非空格空白字符时归一化失效，且以 . 作为停止符会截断浮点答案、让高质量模型因生成过长反而得分更低。改用 \n 作为停止符重新计算后，分数与模型整体表现的相关性明显改善。
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模、四种 EC2 实例（含 NVIDIA A10G 与 A100 40GB）及 1/5/10/20 并发请求，并对比了 GPTQ 4-bit 量化效果。
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。原文正文未能抓取，仅标题可用。
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字。
推荐理由：同一份 MMLU 数据集在三种实现下分数与排名都不同，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face 通过扩展 Open LLM Leaderboard 评估套件，对比了 GPT-4 自动评估与 Scale AI 人类标注在开源指令模型上的偏好排序。
OpenAI 训练了一个模型，通过奖励每一步正确的推理过程（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督不仅提升了性能，还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解这一训练思路及其对齐收益。
OpenAI 用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释打分。团队公开了 GPT-2 中每个神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动为神经元行为写解释并打分，并公开 GPT-2 全部神经元的解释与评分数据集。