vLLM 的 transformers 建模后端实现原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现,模型作者无需移植即可获得高速推理。
推荐理由:原文给出 vLLM 的 transformers 后端在多种 Qwen3 模型上追平手写实现,读者可据此判断是否省去移植成本。
公司与模型
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
226 条精选近 30 天 6 条共收录 741 条
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现,模型作者无需移植即可获得高速推理。
推荐理由:原文给出 vLLM 的 transformers 后端在多种 Qwen3 模型上追平手写实现,读者可据此判断是否省去移植成本。
微软在 Build 2026 宣布 Foundry Managed Compute 及 Hugging Face 模型集合,将 Hugging Face 生态的开源权重模型引入 Foundry 模型目录,每周刷新,可一键部署到托管 GPU 平台。
推荐理由:微软在 Foundry 上托管 Hugging Face 开源权重模型,读者可了解企业部署开源模型时被接管的运维环节。
SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端,用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境中调度运行。
推荐理由:原文给出零出口费存储与跨云调度的组合方式,读者可据此判断数据与 GPU 分离时的成本结构。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音的开源流水线,用 Cerebras 加速 Gemma 4 31B 的推理。该架构为模块化设计,依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 语音合成,各层均可替换。
推荐理由:原文给出了一套可替换的实时语音到语音开源架构,读者可据此了解各层组件如何组合与复用。
Every Eval Ever(EEE)与 Hugging Face Community Evals 现已互通,评测结果可交叉发布并链接回完整记录。EEE 数据存储已收录约 229,000 条评测结果,覆盖 22,000 多个模型和 2,200 个基准,来自 31 种报告格式。
推荐理由:原文给出 EEE 与 Community Evals 互通后的数据规模与转换工具,读者可据此判断评测结果如何被统一记录和追溯。
Hugging Face 介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、兼容 OpenAI API 的 vLLM 端点,按秒计费,无需自备服务器或 Kubernetes。
推荐理由:原文给出了一条命令在 HF Jobs 上起 vLLM 端点的完整流程,可迁移到自建推理与编码智能体后端。
Hugging Face 将 huggingface_hub 的发版周期从每 4 到 6 周一次改为每周一次,整个流程由单个 GitHub Actions 工作流驱动。
推荐理由:原文公开了每周发版工作流的完整结构,其中模型起草加确定性校验再人工确认的循环可迁移到其他生成任务。
PaddleOCR 发布 PP-OCRv6 通用 OCR 模型家族并上线 Hugging Face,提供 tiny、small、medium 三档,参数从 1.5M 到 34.5M,其中 small 和 medium 支持 50 种语言。
推荐理由:原文给出三档模型参数、检测与识别精度及多后端接入方式,便于按部署场景选型。
Hugging Face 博客分享了用本地模型对 OpenClaw 仓库的 Issue 和 PR 做实时分类分诊的方案,作者在 NVIDIA GB10 上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b,通过 Pi 智能体框架配合受限只读 shell(reposhell)和 final_json 工具输出结构化标签。
推荐理由:原文给出本地模型做 PR/Issue 分类的完整架构与 330 行评测数据,可迁移到其他高吞吐筛选场景。
Hugging Face 发布 agent-eval 评测工具,以 transformers 为案例,按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行,衡量智能体完成任务所需的轮次、token 与错误率,而非只看最终答案。
推荐理由:原文给出了一套可复用的智能体工具评测方法,并展示同一改动对不同规模模型效果相反的具体证据。
Hugging Face 在 PEFT 库中新增基准测试,用相同基座模型、数据集和硬件对比 LoRA 与其他 PEFT 技术。
推荐理由:Hugging Face 用统一条件的基准对比多种 PEFT 技术,读者可据此判断 LoRA 是否仍是默认选择。
AWS 开源 SDK Strands Robots 将 LeRobot 的硬件抽象、仿真与策略栈封装为 AgentTools,让一个 Strands 智能体完成从 Hub 数据集到实体机器人的全流程。
推荐理由:AWS 官方给出从 Hub 数据集到实体机器人的五步流程,可看到同一份智能体代码如何切换仿真与硬件。
Hugging Face 发布 Agentic Resource Discovery(ARD)规范草案及参考实现 Discover Tool,让智能体在运行时按自然语言搜索能力,而非预先安装。
推荐理由:原文给出 ARD 规范草案与 Hugging Face 参考实现,读者可据此了解智能体能力发现从预装转向运行时搜索的路径。
作者让编码智能体通过调用两个 Hugging Face Space 搭建了展示巴黎地标的 3D Gaussian splat 网站,全程未手动使用图像生成或 3D 重建工具。
推荐理由:作者用一次真实搭建演示了 agents.md 如何让智能体串联两个 Space 完成图像到 3D 的流水线,可迁移到其他多媒体组合场景。
Hugging Face 官方博客给出把 GitHub Actions 的 CI 任务迁移到 Hugging Face Jobs 的分步教程,只需把 runs-on 从 ubuntu-latest 改成 hf-jobs-cpu-upgrade 或 hf-jobs-t4-small 等标签。
推荐理由:原文给出把 GitHub Actions 任务改到 Hugging Face Jobs 上运行的完整步骤与实测数据,可据此迁移自家 CI。
Hugging Face 重构官方命令行工具 hf CLI,使其同时适配人类用户和 Claude Code、Codex、Cursor 等编码智能体,新增 agent 模式输出、下一步命令提示和非阻塞重试机制。
推荐理由:官方给出 hf CLI 面向智能体重构的细节与基准数据,可据此判断命令行工具该如何适配编码智能体。
H Company 发布 Holo3.1 计算机使用智能体模型家族,基于 Qwen 系列,覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重。
推荐理由:Holo3.1 给出跨环境与跨框架的鲁棒性提升,并首次提供量化权重,读者可据此判断本地部署计算机使用智能体的可行路径。
JetBrains 发布 Mellum2,一个从零训练的 12B 参数混合专家(MoE)模型,覆盖自然语言与代码,每个 token 仅激活 2.5B 参数,采用 Apache 2.0 许可。官方称其面向路由、RAG、摘要、子智能体和高吞吐编码等低延迟场景,相比同规模模型推理速度提升超过 2 倍,模型已在 Hugging Face 开放下载,技术报告发布于 arXiv。
推荐理由:JetBrains 开源 12B MoE 模型,每 token 仅激活 2.5B 参数,可据此判断轻量模型在路由与 RAG 场景的部署取舍。
Hugging Face 发布教程,介绍如何让 Reachy Mini 完全本地运行语音对话,无需云端、API key,音频不出本机。
推荐理由:Hugging Face 给出 Reachy Mini 全本地语音对话的完整级联方案与可替换组件清单,读者可据此复现并自行替换各环节模型。
Hugging Face 在 TRL 中落地增量权重同步(Delta Weight Sync):只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件上传到 Hub Bucket,再由 vLLM 拉取应用。
推荐理由:TRL 把稀疏增量权重同步做成了可 pip 安装的实现,读者可据此判断跨机房异步 RL 训练的部署成本。