Diffusers 原生支持 Nunchaku 4-bit 扩散推理
Hugging Face 在 Diffusers 中集成 Nunchaku Lite，可直接用 from_pretrained() 加载 Nunchaku 风格 4-bit 量化检查点，无需自定义 pipeline 或本地 CUDA 编译。
推荐理由：原文给出 Nunchaku Lite 在 Diffusers 中的原生加载方式与量化工具链，读者可据此判断消费级 GPU 跑扩散模型的内存与延迟取舍。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
236 条精选近 30 天 23 条共收录 697 条
更新
精选归档 · 第 3 页
Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分8787 Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型
Thinking Machines 在 Hugging Face 发布 Inkling 系列开源多模态模型，Inkling 为 975B 总参数、41B 激活参数的 MoE 架构，原生接受图像、文本和音频输入，支持 1M 上下文，训练数据达 45 万亿 token。
推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断这一开源多模态模型的落地门槛。
Hugging Face Blog精选AI 评分6262 vLLM 的 transformers 建模后端实现原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现，模型作者无需移植即可获得高速推理。
推荐理由：原文给出 vLLM 的 transformers 后端在多种 Qwen3 模型上追平手写实现，读者可据此判断是否省去移植成本。
Hugging Face Blog精选AI 评分6262 微软在 Foundry Managed Compute 上线 Hugging Face 模型集合
微软在 Build 2026 宣布 Foundry Managed Compute 及 Hugging Face 模型集合，将 Hugging Face 生态的开源权重模型引入 Foundry 模型目录，每周刷新，可一键部署到托管 GPU 平台。
推荐理由：微软在 Foundry 上托管 Hugging Face 开源权重模型，读者可了解企业部署开源模型时被接管的运维环节。
Hugging Face Blog精选AI 评分6262 SkyPilot 与 Hugging Face 打通零出口费存储，可在任意云运行 AI 负载
SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端，用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集仓库挂载进 SkyPilot 任务，并在 20 多个云、Kubernetes、Slurm 和本地环境中调度运行。
推荐理由：原文给出零出口费存储与跨云调度的组合方式，读者可据此判断数据与 GPU 分离时的成本结构。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音的开源流水线，用 Cerebras 加速 Gemma 4 31B 的推理。该架构为模块化设计，依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 语音合成，各层均可替换。
推荐理由：原文给出了一套可替换的实时语音到语音开源架构，读者可据此了解各层组件如何组合与复用。
Google Research精选AI 评分6262 Google 用冻结多 token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 发布新架构，将多 token 预测（MTP）头接到已冻结的 Gemini Nano v3 模型上，在不改动主干权重的前提下加速端侧推理，已上线 Pixel 9 和 10 系列。
推荐理由：Google 把多 token 预测接到冻结的 Gemini Nano v3 上，读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Hugging Face Blog精选AI 评分6262 如何用一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face 介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、兼容 OpenAI API 的 vLLM 端点，按秒计费，无需自备服务器或 Kubernetes。
推荐理由：原文给出了一条命令在 HF Jobs 上起 vLLM 端点的完整流程，可迁移到自建推理与编码智能体后端。
Google DeepMind精选AI 评分7474 Google DeepMind 在 Gemini 3.5 Flash 中内置 computer use 工具
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。
推荐理由：原文说明 computer use 从独立模型并入主 Flash 模型，并给出企业级安全护栏，读者可据此判断智能体自动化任务的落地路径。
Hugging Face Blog精选AI 评分6060 NVIDIA NeMo AutoModel 发布，MoE 微调吞吐提升 3.4-3.7 倍
NVIDIA 发布开源库 NeMo AutoModel，在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核，微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%。
推荐理由：原文给出同一 from_pretrained() API 下的吞吐与显存对比数据，读者可据此判断 MoE 微调的迁移成本。
OpenAI News精选AI 评分6262 OpenAI 与 Broadcom 发布 LLM 推理专用芯片 Jalapeño
OpenAI 与 Broadcom 联合推出名为 Jalapeño 的定制 AI 芯片，专为 LLM 推理设计。该芯片旨在提升 AI 系统在性能、能效和规模化方面的表现。
推荐理由：OpenAI 与 Broadcom 联合推出面向 LLM 推理的自研芯片，读者可了解其在推理性能与规模化上的定位。
Mistral AI精选AI 评分6767 Mistral 发布 OCR 4 文档解析模型
Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数，支持 170 种语言、10 个语系，可单容器自托管部署。
推荐理由：官方给出 OCR 4 的边界框、块分类与置信度输出，以及自托管和按页计价方案，便于评估文档解析管线。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何用 AI 与开源工具每周发布 huggingface_hub
Hugging Face 将 huggingface_hub 的发版周期从每 4 到 6 周一次改为每周一次，整个流程由单个 GitHub Actions 工作流驱动。
推荐理由：原文公开了每周发版工作流的完整结构，其中模型起草加确定性校验再人工确认的循环可迁移到其他生成任务。
Hugging Face Blog精选AI 评分6060 PP-OCRv6 上线 Hugging Face：1.5M 到 34.5M 参数支持 50 语言 OCR
PaddleOCR 发布 PP-OCRv6 通用 OCR 模型家族并上线 Hugging Face，提供 tiny、small、medium 三档，参数从 1.5M 到 34.5M，其中 small 和 medium 支持 50 种语言。
推荐理由：原文给出三档模型参数、检测与识别精度及多后端接入方式，便于按部署场景选型。
Hugging Face Blog精选AI 评分6262 如何用本地模型免费分诊 OpenClaw 仓库的 Issue 和 PR
Hugging Face 博客分享了用本地模型对 OpenClaw 仓库的 Issue 和 PR 做实时分类分诊的方案，作者在 NVIDIA GB10 上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，通过 Pi 智能体框架配合受限只读 shell（reposhell）和 final_json 工具输出结构化标签。
推荐理由：原文给出本地模型做 PR/Issue 分类的完整架构与 330 行评测数据，可迁移到其他高吞吐筛选场景。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 agent-eval：在自有工具上评测开放模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行，衡量智能体完成任务所需的轮次、token 与错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动对不同规模模型效果相反的具体证据。
Hugging Face Blog精选AI 评分6060 用 Strands Agents 和 LeRobot 把 Hugging Face Hub 数据集部署到机器人硬件
AWS 开源 SDK Strands Robots 将 LeRobot 的硬件抽象、仿真与策略栈封装为 AgentTools，让一个 Strands 智能体完成从 Hub 数据集到实体机器人的全流程。
推荐理由：AWS 官方给出从 Hub 数据集到实体机器人的五步流程，可看到同一份智能体代码如何切换仿真与硬件。
Hugging Face Blog精选AI 评分8585 智谱发布 GLM-5.2，面向长程任务支持 1M 上下文
智谱发布旗舰模型 GLM-5.2，主打长程任务能力，首次在 1M token 上下文下稳定支撑长程工作，并采用 MIT 开源许可。
推荐理由：GLM-5.2 把 1M 上下文与编码智能体能力结合，并给出与闭源前沿模型的基准对比，可据此判断开源模型在长程任务上的位置。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 DiffusionGemma 文本扩散模型，推理速度最高提升 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式并行生成整块文本，在专用 GPU 上推理速度最高提升 4 倍。
推荐理由：官方给出 26B MoE 文本扩散模型的速度、显存与质量取舍，便于判断本地低并发场景是否值得换用。
Hugging Face Blog精选AI 评分6262 一个智能体如何串联两个 Hugging Face Space 搭建 3D 巴黎画廊
作者让编码智能体通过调用两个 Hugging Face Space 搭建了展示巴黎地标的 3D Gaussian splat 网站，全程未手动使用图像生成或 3D 重建工具。
推荐理由：作者用一次真实搭建演示了 agents.md 如何让智能体串联两个 Space 完成图像到 3D 的流水线，可迁移到其他多媒体组合场景。