Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上全部 3751 个模型,修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由:原文给出旧评测器失效的具体案例与重评后的分数变化,可据此判断数学评测口径对榜单排名的影响。
Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上全部 3751 个模型,修复了答案格式、SymPy 解析和答案比对三类问题。
推荐理由:原文给出旧评测器失效的具体案例与重评后的分数变化,可据此判断数学评测口径对榜单排名的影响。
Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本:在 nvidia-L4($0.8/hr)上,135M 的 DistilBERT 分类模型处理 10 亿输入需 $253.82,149M 的 gte-modernbert-base 嵌入需 $409.44,2.21B 的 ColQwen2 视觉嵌入则高达 $44,496.51。
Hugging Face 发布了一套用于构建视频生成数据集的开源工具链,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再通过 LAION-5B-WatermarkDetection。
Hugging Face 的 Xet 团队将内容定义分块(CDC)投入生产,通过块(最大 64MB)和分片聚合,把 CAS 条目减少约 1000 倍,部分场景上传下载提速 2-3 倍。
推荐理由:Hugging Face 公开了 Xet 存储的块级聚合设计,读者可据此理解大文件去重为何不能只靠分块。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 为 NuminaMath 1.5 的 40 万道题各生成两个解答,经 Math Verify 与 Llama3.3-70B-Instruct 双重过滤后保留 22 万道有正确推理轨迹的题目。
推荐理由:Open R1 项目公开了 22 万条数学推理数据集的构建流程与蒸馏对比结果,可了解复现 R1 训练管线的具体做法。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 700 多个模型提交,参数规模从 1B 到 70B 以上,来自 180 多个机构。新版回应社区对阿拉伯语专项任务、评测透明度与数据集多样性的批评。
Adyen 与 Hugging Face 联合发布 DABstep,一个面向多步推理的数据分析智能体基准,包含 450+ 个源自 Adyen 真实业务的数据分析任务。最强推理型智能体在该基准上仅取得 16% 准确率,凸显当前模型在真实数据分析场景中的明显差距。DABstep 同时提供数据集、任务、评测、实时排行榜与基线,仅需代码执行环境即可运行并自动评测。
Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架,在 GAIA 验证集上达到 55.15%,高于此前开源框架 Magentic-One 的约 46%。
推荐理由:Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架,给出了 GAIA 上的对比数字与代码智能体的取舍依据。
Hugging Face 将 Physical Intelligence 开发的 π0 和 π0-FAST 两个机器人基础模型移植到 LeRobot 仓库,并给出推理与微调命令。
推荐理由:原文给出两个机器人基础模型在 LeRobot 的移植细节与微调命令,读者可据此判断 VLA 模型的落地门槛。
Hugging Face 的 Open-R1 项目发布首周进展,在 MATH-500 上复现了 DeepSeek-R1 蒸馏系列模型的评测分数,例如 DeepSeek-R1-Distill-Qwen-32B 得 95.0、DeepSeek-R1-Distill-Llama-70B 得 93.4。
推荐理由:Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的 MATH-500 评测分数,并公开了合成数据生成与 GRPO 训练的工程细节。
这篇教程用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment,基于 Qwen2.5-3B-Instruct 在 4x H100 上训练,450 步后解题成功率达 50%。
推荐理由:完整复现流程与训练观察记录,可看到小模型在 RL 下从文字推理转向程序化求解的过程。
Hugging Face 发布首期 AI 艺术工具通讯,回顾 2024 年创意 AI 工具的关键进展。
Mistral AI 发布 Mistral Small 3,一个面向低延迟优化的 24B 参数模型,以 Apache 2.0 许可开源,同时提供预训练和指令微调两个 checkpoint。
推荐理由:24B 参数在 Apache 2.0 下对标三倍体量模型,并给出量化后单卡本地部署的具体门槛。
Hugging Face 发布指南,介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face 发布 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程,补齐官方未公开的数据集和训练代码。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可据此了解开源推理模型缺哪几块拼图。
Hugging Face 在 Hub 模型页上线 Inference Providers,首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务,并同步集成到 JS 与 Python 客户端 SDK。
推荐理由:Hugging Face 把四家无服务器推理商接入模型页与 SDK,读者可据此了解多供应商切换与计费方式的变化。
Hugging Face Diffusers 团队梳理了开源视频生成模型的现状,列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开放模型与 Sora、Veo 2、Kling 等闭源模型的对照。
推荐理由:Diffusers 团队梳理开源视频生成模型现状,并给出显存优化与微调的实测数据,可据此评估本地部署门槛。
Hugging Face 为 smolagents 加入视觉支持,可在智能体流程中原生使用视觉语言模型。图像可在 agent.run 时通过 images 参数一次性传入,也可借助 step_callbacks 在每步把截图写入 ActionStep 的 observation_images 动态注入。
推荐理由:官方给出在 smolagents 中接入视觉语言模型的两条路径,并附可运行的浏览器智能体示例代码。
NVIDIA 推出 Python 工具包 KVPress,通过一系列 KV Cache 压缩技术降低长上下文 LLM 的显存占用。以 Llama 3-70B 在 bfloat16 下处理 1M tokens 为例,KV Cache 需 327.6GB,占约 470GB 总内存的 70%。
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M,共四个 checkpoint,含两个基座模型和两个指令微调模型,可直接加载到 transformers、MLX 和 ONNX。
推荐理由:官方披露了 256M 与 500M 两个新模型在视觉编码器、数据配比和 tokenization 上的取舍,可据此判断小模型多模态的可行边界。
Hugging Face 与 FriendliAI 达成合作,将 FriendliAI 推理基础设施集成进 Hugging Face Hub 的“Deploy this model”按钮,实现一键部署。
Hugging Face 为 Text Generation Inference(TGI)引入多后端架构,通过 Rust 的 Backend trait 让 TGI 作为统一前端层接入不同推理引擎,用户可按模型、硬件和性能需求切换后端。
Hugging Face 发布 TimmWrapper,让任意 timm 视觉模型可直接接入 transformers 生态,支持 pipeline API、Auto 类和 Trainer 微调。该工具约 5 行代码即可用 bitsandbytes 完成量化,并支持 torch.compile 加速推理与 LoRA 适配器微调,微调后模型还能回到 timm 使用。
Hugging Face 发布两个静态嵌入模型 static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1,在 CPU 上比 all-mpnet-base-v2、multilingual-e5-small 等常见模型快 100 至 400 倍,同时保留至少 85% 的性能。
推荐理由:原文给出静态嵌入模型的训练配方与两个已发布模型,读者可据此判断低算力场景下嵌入推理的可行边界。
Hugging Face 发布分析文章指出,AI 智能体的风险随自主性等级上升而增加,建议不要开发能自行编写并执行代码的全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程的 Code ☆☆☆☆ 到模型自行编写并执行新代码的 Fully autonomous agent ★★★★,并认为半自主智能体在自主程度、可用任务和人类控制方式合适时,收益可能大于风险。
Hugging Face 推出 vdr-2b-multi-v1,一个面向多语言视觉文档检索的嵌入模型,可直接编码文档页面截图,无需 OCR 或分块流程。
Hugging Face 在 Open LLM Leaderboard 中引入 CO₂ 排放估算,基于 2742 个模型的推理数据发现,社区微调模型普遍比其官方基础模型更低碳。70B 参数级别中,Qwen2.5 和 Llama3.1 的官方微调耗能约为基础模型的两倍,而 MoE 架构模型的排行榜得分与排放比整体偏低。
Hugging Face 发布 smolagents,一个让语言模型具备智能体能力的轻量库,核心是 CodeAgent,即让智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱中执行。
推荐理由:Hugging Face 官方发布轻量智能体库,给出代码写动作的设计取舍与开源模型对比,可据此判断自建智能体的成本。
Hugging Face 博客发布教程,介绍用 torch.cuda.memory._record_memory_history 记录显存快照、导出 profile.pkl 并在 pytorch.org/memory_viz 可视化,逐步拆解模型创建、前向、反向和优化器各阶段的显存变化。
推荐理由:原文给出 PyTorch 显存快照的可视化步骤与显存估算公式,读者可据此定位训练中的显存峰值来源。
NVIDIA 推出 LogitsProcessorZoo,一组模块化 logits 处理器,可在 Hugging Face Transformers 的 generate 方法中直接修改预测分数,实现控制序列长度、强制关键短语、引导多选题答案等任务。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,提供 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 token 上下文,可作 BERT 类模型的直接替换。
推荐理由:ModernBERT 以 8k 上下文和更快推理替换 BERT 类编码器,读者可据此判断 RAG 与代码检索的升级空间。
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,训练数据量 2.2T tokens。
推荐理由:原文给出混合 Mamba2 架构在 vLLM 中的吞吐与延迟实测数据,以及开放权重和训练配方,便于判断该架构的推理效率取舍。
阿布扎比 TII 发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五个基础模型,参数均在 100 亿以下。
推荐理由:Falcon3 给出五个开源模型的训练路径与基准对比,可据此判断小参数模型的效率取舍。
Hugging Face 在 Google Cloud 的 N2 与 C4 实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载,C4 的文本嵌入吞吐量是 N2 的 10x 至 24x,文本生成吞吐量是 N2 的 2.3x 至 3.6x。
Hugging Face 发布 Synthetic Data Generator,一个无代码应用,用户用自然语言描述需求即可借助 LLM 生成自定义数据集,目前支持文本分类和对话两类任务。
Hugging Face 与 Entalpic 联合推出开源项目 LeMaterial,并发布首个数据集 LeMat-Bulk,将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗为标准格式,含 6.7M 条数据和 7 种材料属性,采用 CC-BY-4.0 许可。
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供给 AWS 客户部署,底层由 Amazon SageMaker JumpStart 管理端点。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖多种图像生成类别与不同模型家族。
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena,测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型(5 个约 8B 参数、3 个约 2B 参数),场景是把自然语言日历请求翻译成 Python API 调用。
Google 发布新一代视觉语言模型 PaliGemma 2,用 Gemma 2 替换前代的文本解码器,保留 SigLIP 图像编码器,提供 3B、10B、28B 三种参数规模,均支持 224x224、448x448、896x896 三种输入分辨率,而前代 PaliGemma 仅有 3B 版本。
推荐理由:Google 开源视觉语言模型 PaliGemma 2 提供 3B 到 28B 多规格与三种分辨率,读者可据此判断微调选型空间。