Groq 成为 Hugging Face Hub 支持的推理服务商
Groq 现已作为推理服务商接入 Hugging Face Hub,支持 Llama 4、Qwen QWQ-32B 等开源模型,并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理,采用按需付费模式,用户可用自有 API key 或通过 HF 路由调用。PRO 用户每月获 2 美元推理额度,官方 SDK 支持将在 v0.33.0 版本发布。
Groq 现已作为推理服务商接入 Hugging Face Hub,支持 Llama 4、Qwen QWQ-32B 等开源模型,并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理,采用按需付费模式,用户可用自有 API key 或通过 HF 路由调用。PRO 用户每月获 2 美元推理额度,官方 SDK 支持将在 v0.33.0 版本发布。
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub,支持 DeepSeek、Meta、Google、Qwen 等最新开源文本与对话模型,并集成到 JS 和 Python 客户端 SDK。
Hugging Face 发布 Kernel Hub,允许通过 kernels 库的 get_kernel 从 Hub 直接加载预编译优化 kernel,无需本地编译。
NVIDIA 发布 Isaac GR00T N1.5,这是其开源人形机器人基础模型 GR00T N1 的首次重大更新,支持语言和图像多模态输入并可通过后训练适配不同本体。
推荐理由:原文给出从数据准备到真机部署的完整命令流程,读者可据此在低成本 SO-101 机械臂上复现微调。
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service,让全球研究机构更便捷地获取大型 GPU 集群,按训练运行时长付费。
推荐理由:原文给出按训练时长付费的 GPU 集群申请入口和 NVIDIA DGX Cloud Lepton 的接入方式,读者可据此判断算力获取路径的变化。
Mistral AI 发布首款推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由:Mistral 首款推理模型同时给出开源小杯和企业版,并公开训练论文与评测数据,可对比其推理路线。
Hugging Face 发布 ScreenSuite,一个面向 GUI Agent 的评测套件,整合 13 项基准,覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由:Hugging Face 开源 GUI Agent 评测套件,读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache,使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自研视觉语言模型的轻量代码库,KV Cache 在 Attention 块、语言模型和生成循环三处启用,将生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型生成。
H Company 发布 Holo1 系列 Action VLM,包含 Holo1-3B 和 Holo1-7B,基于 Qwen2.5-VL 架构并已在 Hugging Face 开源,同时发布含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由:原文给出开源模型规格、基准成绩与单任务成本,读者可据此判断网页自动化方案的落地门槛。
Hugging Face 博客介绍 TRL 新增 vLLM 共置(colocate)模式,训练与推理共享同一批 GPU,不再需要单独的 vLLM 服务器进程。
Hugging Face 发布 SmolVLA,一个 450M 参数的开源视觉-语言-动作(VLA)模型,可在 CPU、单张消费级 GPU 甚至 MacBook 上运行,仅用 lerobot 标签下社区共享数据集预训练。
推荐理由:450M 参数、消费级硬件可跑的开源 VLA,用不到 3 万条社区数据在仿真与真机上追平更大模型,并给出异步推理带来的速度差异。
Hugging Face 分享研究,将 CodeAgent 的思考与代码强制以结构化 JSON 生成,在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
用户测试 Liger GRPO loss 与 TRL 集成时,在 DeepSpeed ZeRO3、bf16 精度下使用 Qwen2.5-0.5B-Instruct 训练,触发形状不匹配报错。错误发生在 liger_kernel 的 fused_linear_ppo 前向计算中,经 torch._dynamo 编译后抛出。
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub,提供 Meta Llama 4 Maverick、DeepSeek R1。
Hugging Face 将 JS 版 Tiny Agents 移植到 Python,并扩展 huggingface_hub 客户端 SDK 使其充当 MCP Client,可从 MCP 服务器拉取工具并在推理时传给 LLM。
推荐理由:原文给出约 70 行代码实现 MCP 智能体的完整路径,读者可据此理解工具调用循环的最小结构。
Falcon-H1 系列发布六个开源模型,参数规模从 0.5B 到 34B,每个尺寸均提供 base 与 instruct 版本,采用 Apache 2.0 许可。
推荐理由:Falcon-H1 用注意力与 SSM 并行混合架构覆盖 0.5B 到 34B 六个尺寸,可对照其长上下文吞吐与同尺寸 Transformer 模型的取舍。
阿联酋 TII 发布 7B 参数的 Falcon-Arabic,基于 Falcon 3 架构,支持阿拉伯语、英语等多种语言,上下文长度 32,000 tokens。该模型在 OALL v2 基准上超越同尺寸及至多 4 倍大的阿拉伯语 LLM,训练采用扩展 32,000 个阿拉伯语 token 的词表与 100% 原生阿拉伯语数据。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型(VLM)的轻量工具包,可在免费 Colab 上启动训练,灵感来自 nanoGPT。
推荐理由:Hugging Face 官方给出纯 PyTorch 训练 VLM 的最小仓库,读者可据此理解视觉与语言模态如何对齐并自行训练。
在 Microsoft Build 大会上,Satya Nadella 宣布扩大与 Hugging Face 的合作,Azure AI Foundry 的 Hugging Face Collection 现可一键部署 1 万多个开放模型,覆盖文本、音频和图像任务。
Falcon-Edge 系列发布,基于 BitNet 架构的三值(1.58bit)语言模型,提供 1B 和 3B 两种规模,每种规模各有 base 与指令微调版本。
Hugging Face 在博客中表示,未来目标是让 Transformers 成为各框架之间的模型定义中枢,模型架构只要被 Transformers 支持,就能在生态其他工具中获得支持。
推荐理由:Hugging Face 官方说明 Transformers 将作为跨框架模型定义中枢,读者可据此理解模型接入与部署链路的变化。
Hugging Face 与 Kaggle 推出集成,让 Hugging Face 模型可直接在 Kaggle 上被发现和使用。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,性能较此前版本最高提升 8 倍。
Hugging Face 发文回顾过去一年视觉语言模型的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face 的 LeRobot 项目正推动社区共建机器人数据集,目标是打造机器人领域的“ImageNet”。目前 Hub 上的 lerobot 数据集数量快速增长,贡献主要集中在 So100 和 Koch 机械臂,聚焦操作任务。文章将泛化视为数据问题,呼吁通过简化录制流程、降低硬件成本来扩大数据多样性。
Gradio 官方发布教程,介绍如何用几行 Python 把 Gradio 应用变成 MCP Server,让 LLM 以工具形式调用其中的函数。
推荐理由:Gradio 官方给出把任意 Python 函数变成 MCP 工具的完整步骤,可据此把自家模型接口接入 LLM 工具调用。
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四项关键变化:通过 enable_thinking 标志可将推理设为可选,而非像 QwQ 那样强制链式推理。
Meta 发布 Llama Guard 4,一个 12B dense 多模态安全模型,以及两个 Llama Prompt Guard 2 模型(86M 和 22M 参数),模型 checkpoint 已上线 Hugging Face Hub 的 Llama 4 Collection。
推荐理由:Meta 发布 Llama Guard 4 多模态安全模型与 Prompt Guard 2,读者可了解其架构裁剪方式与相对前代的性能变化。
Intel 发布权重仅训练后量化方法 AutoRound,通过符号梯度下降联合优化权重舍入与裁剪范围,支持 INT2-INT8 低比特量化。在 INT2 下其相对精度最高达主流基线 2.1 倍,量化 72B 模型在 A100 上仅需 37 分钟。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心是在 RL 训练中做 inflight 权重更新,推理不中断即可接收新权重,从而维持高推理吞吐并减少 rollout 权重与最新模型权重之间的滞后。
推荐理由:原文给出开源仓库与训练契约设计,读者可据此判断大规模 RL 训练中吞吐与 on-policy 数据如何兼顾。
Hugging Face 发布 Tiny Agents 教程,用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端和智能体,智能体本质是工具调用循环。
推荐理由:作者以 Hugging Face 官方身份给出可运行的 MCP 客户端与智能体实现,读者可据此理解工具调用如何串起一个最小智能体。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎,解决了原模型为生成训练数据而忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集,在 8xH100 节点上训练 2.5 个 epoch,微调后模型能完整提取发票等文档的页眉页脚内容并保留表格解析能力。该模型已在 Hugging Face 开源。
Hugging Face 发布 HELMET(How to Evaluate Long-Context Models Effectively and Thoroughly),一个从多样性、可控性和可靠性三方面改进的长上下文语言模型评测基准,已评估 59 个近期 LCLM。
Cohere 正式成为 Hugging Face Hub 上支持的 Inference Provider,也是首个直接在 Hub 上分享并托管自家模型的模型厂商。
Gradio 官方博客列出 17 个理由,说明它不只是 Python UI 库,而是同时提供 UI 与 API 的机器学习交互框架。所有 Gradio 应用自带 REST API 端点,并提供 Python(gradio_client)和 JavaScript(@gradio/client)官方 SDK 及 cURL 访问。
Hugging Face 宣布收购已成立 9 年的开源机器人公司 Pollen Robotics,这是其第五次收购,此前曾收购 Gradio 和 XetHub。
推荐理由:Hugging Face 收购 Pollen Robotics 并开卖开源人形机器人,读者可了解其开源机器人布局与 Reachy 2 的定位。
Protect AI 与 Hugging Face 合作半年,已扫描 Hugging Face Hub 上 141 万个仓库中的 447 万个模型版本,在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face 与 Cloudflare 达成合作,让 FastRTC 开发者凭 Hugging Face token 即可接入 Cloudflare 覆盖 335 多个地点的全球 TURN 网络,构建低延迟实时语音与视频应用。
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space,统一收录阿拉伯语 AI 评测,目前包含 AraGen-03-25 和 Arabic Instruction Following 两个榜单。