Hugging Face 与 AMD 为 MI300X 打造自定义内核，优化 Llama 3.1 405B FP8 推理
Hugging Face 与 AMD 合作，为 AMD MI300X 编写了三个开源自定义内核——融合残差连接/RMS norm/FP8 转换内核、融合 SwiGLU 激活/FP8 转换内核和 Skinny GEMM 内核，用于在 8 卡 MI300X 节点上通过 VLLM 加速 Llama 3.1 405B 的 FP8 推理。
#Hugging Face
Hugging Face BlogAI 评分3434 Hugging Face BlogAI 评分3636 用 Gradio MCP Servers 为 LLM 扩展新技能
Hugging Face Spaces 上的 Gradio 应用自 5.28.0 版本起支持 MCP 协议，使 Spaces 成为可搜索数千个 MCP server 的"应用商店"。用户可将 Flux.1 Kontext[dev] 等 Space 接入 Cursor、Claude Code、Cline 等 MCP 客户端，让 LLM 获得图像编辑等新能力，目前图像需通过公开 URL 访问。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个完全开源的 3B 模型，在 11T token 上训练，支持 6 种语言和最长 128k 上下文，并提供 think / no_think 双模式推理。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可据此复现或改进同规模模型。
Hugging Face BlogAI 评分2020 Hugging Face 生产基础设施背后的三大关键告警
Hugging Face 基础设施团队公开了支撑其生产环境的三大告警机制，分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。NAT 网关告警在流量超过预设静态阈值时触发，用于发现异常流量峰值并优化网络路径成本；日志归档链路则通过 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Hugging Face BlogAI 评分3636 Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法
Hugging Face 以 nanoVLM 项目为例，展示如何用五阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据，团队随后引入全局最大长度约束，并借助背包问题（knapsack）实现贪心打包，将序列按 token 数尽量塞满每个 batch。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练和微调稀疏嵌入模型
Sentence Transformers 现已支持训练和微调稀疏嵌入模型，可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型，尤其适合混合搜索或检索重排场景。
Hugging Face BlogAI 评分5555 NVIDIA 在 Hugging Face 发布 Llama Nemotron Nano VL 文档理解模型
NVIDIA 在 Hugging Face 发布 Llama Nemotron Nano VL，一个基于 Llama-3.1-8B-Instruct 和 C-RADIOv2-VLM-H 的 8B 视觉语言模型，面向发票、合同等复杂文档的智能文档处理与 OCR。
Hugging Face Blog精选AI 评分7878 Gemma 3n 正式开源，接入 transformers、llama.cpp、MLX 等生态
Gemma 3n 从 Google I/O 的预览版转为正式发布，已在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库上线。
推荐理由：Gemma 3n 正式开源并接入主流推理库，读者可据此了解端侧多模态模型的硬件门槛与部署路径。
Hugging Face BlogAI 评分4040 SGLang 集成 Hugging Face transformers 后端
SGLang 新增 Hugging Face transformers 作为后端，可直接以高性能推理运行任意 transformers 兼容模型，无需原生支持。
Hugging Face Blog精选AI 评分6262 如何在消费级硬件上用 QLoRA 微调 FLUX.1-dev
Hugging Face 发布教程，介绍用 diffusers 库和 QLoRA 在单张 GPU 上微调 FLUX.1-dev，峰值显存约 10GB 以下。在 RTX 4090 上，QLoRA 峰值显存约 9GB，标准 BF16 LoRA 需 26GB，700 步训练约 41 分钟。
推荐理由：原文给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比，可据此复现低显存训练流程。
Hugging Face BlogAI 评分2222 Groq 成为 Hugging Face Hub 支持的推理服务商
Groq 现已作为推理服务商接入 Hugging Face Hub，支持 Llama 4、Qwen QWQ-32B 等开源模型，并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理，采用按需付费模式，用户可用自有 API key 或通过 HF 路由调用。PRO 用户每月获 2 美元推理额度，官方 SDK 支持将在 v0.33.0 版本发布。
Hugging Face BlogAI 评分2222 Featherless AI 成为 Hugging Face Inference Providers 支持的服务商
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub，支持 DeepSeek、Meta、Google、Qwen 等最新开源文本与对话模型，并集成到 JS 和 Python 客户端 SDK。
Hugging Face BlogAI 评分5555 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，允许通过 kernels 库的 get_kernel 从 Hub 直接加载预编译优化 kernel，无需本地编译。
Hugging Face Blog精选AI 评分6262 如何用 LeRobot SO-101 机械臂后训练 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5，这是其开源人形机器人基础模型 GR00T N1 的首次重大更新，支持语言和图像多模态输入并可通过后训练适配不同本体。
推荐理由：原文给出从数据准备到真机部署的完整命令流程，读者可据此在低成本 SO-101 机械臂上复现微调。
Hugging Face Blog精选AI 评分6060 Hugging Face 与 NVIDIA 推出 Training Cluster as a Service
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service，让全球研究机构更便捷地获取大型 GPU 集群，按训练运行时长付费。
推荐理由：原文给出按训练时长付费的 GPU 集群申请入口和 NVIDIA DGX Cloud Lepton 的接入方式，读者可据此判断算力获取路径的变化。
Mistral AI精选AI 评分7878 Mistral AI 发布首款推理模型 Magistral
Mistral AI 发布首款推理模型 Magistral，分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由：Mistral 首款推理模型同时给出开源小杯和企业版，并公开训练论文与评测数据，可对比其推理路线。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自研视觉语言模型的轻量代码库，KV Cache 在 Attention 块、语言模型和生成循环三处启用，将生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型生成。
Hugging Face Blog精选AI 评分6666 H Company 发布 Holo1 系列 GUI 自动化 VLM 与 WebClick 基准
H Company 发布 Holo1 系列 Action VLM，包含 Holo1-3B 和 Holo1-7B，基于 Qwen2.5-VL 架构并已在 Hugging Face 开源，同时发布含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由：原文给出开源模型规格、基准成绩与单任务成本，读者可据此判断网页自动化方案的落地门槛。
Hugging Face BlogAI 评分5252 TRL 支持 vLLM 与 GRPO 训练同卡共置
Hugging Face 博客介绍 TRL 新增 vLLM 共置（colocate）模式，训练与推理共享同一批 GPU，不再需要单独的 vLLM 服务器进程。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLA：450M 开源视觉-语言-动作模型
Hugging Face 发布 SmolVLA，一个 450M 参数的开源视觉-语言-动作（VLA）模型，可在 CPU、单张消费级 GPU 甚至 MacBook 上运行，仅用 lerobot 标签下社区共享数据集预训练。
推荐理由：450M 参数、消费级硬件可跑的开源 VLA，用不到 3 万条社区数据在仿真与真机上追平更大模型，并给出异步推理带来的速度差异。
Hugging Face BlogAI 评分5252 Hugging Face 研究：结构化 CodeAgent 在多个基准上优于传统方案
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
Hugging Face BlogAI 评分1212 Liger GRPO 与 TRL 集成在 DeepSpeed ZeRO3 下出现形状不匹配
用户测试 Liger GRPO loss 与 TRL 集成时，在 DeepSpeed ZeRO3、bf16 精度下使用 Qwen2.5-0.5B-Instruct 训练，触发形状不匹配报错。错误发生在 liger_kernel 的 fused_linear_ppo 前向计算中，经 torch._dynamo 编译后抛出。
Hugging Face BlogAI 评分3838 Dell Enterprise Hub 新版发布：在本地 Dell AI 服务器和 AI PC 上构建 AI
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供 Meta Llama 4 Maverick、DeepSeek R1。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 智能体
Hugging Face 将 JS 版 Tiny Agents 移植到 Python，并扩展 huggingface_hub 客户端 SDK 使其充当 MCP Client，可从 MCP 服务器拉取工具并在推理时传给 LLM。
推荐理由：原文给出约 70 行代码实现 MCP 智能体的完整路径，读者可据此理解工具调用循环的最小结构。
Hugging Face Blog精选AI 评分6262 Falcon-H1 发布 0.5B 至 34B 混合架构开源模型系列
Falcon-H1 系列发布六个开源模型，参数规模从 0.5B 到 34B，每个尺寸均提供 base 与 instruct 版本，采用 Apache 2.0 许可。
推荐理由：Falcon-H1 用注意力与 SSM 并行混合架构覆盖 0.5B 到 34B 六个尺寸，可对照其长上下文吞吐与同尺寸 Transformer 模型的取舍。
Hugging Face BlogAI 评分4343 Falcon-Arabic：阿拉伯语语言模型的突破
阿联酋 TII 发布 7B 参数的 Falcon-Arabic，基于 Falcon 3 架构，支持阿拉伯语、英语等多种语言，上下文长度 32,000 tokens。该模型在 OALL v2 基准上超越同尺寸及至多 4 倍大的阿拉伯语 LLM，训练采用扩展 32,000 个阿拉伯语 token 的词表与 100% 原生阿拉伯语数据。
Hugging Face BlogAI 评分3636 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示其效果。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，可在免费 Colab 上启动训练，灵感来自 nanoGPT。
推荐理由：Hugging Face 官方给出纯 PyTorch 训练 VLM 的最小仓库，读者可据此理解视觉与语言模态如何对齐并自行训练。
Hugging Face BlogAI 评分5252 Microsoft 与 Hugging Face 扩大合作，Azure AI Foundry 上线 1 万多个开放模型
在 Microsoft Build 大会上，Satya Nadella 宣布扩大与 Hugging Face 的合作，Azure AI Foundry 的 Hugging Face Collection 现可一键部署 1 万多个开放模型，覆盖文本、音频和图像任务。
Hugging Face BlogAI 评分5858 Falcon-Edge 发布 1B 与 3B 三值权重语言模型
Falcon-Edge 系列发布，基于 BitNet 架构的三值（1.58bit）语言模型，提供 1B 和 3B 两种规模，每种规模各有 base 与指令微调版本。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Transformers 定位为跨框架模型定义标准
Hugging Face 在博客中表示，未来目标是让 Transformers 成为各框架之间的模型定义中枢，模型架构只要被 Transformers 支持，就能在生态其他工具中获得支持。
推荐理由：Hugging Face 官方说明 Transformers 将作为跨框架模型定义中枢，读者可据此理解模型接入与部署链路的变化。
Hugging Face BlogAI 评分2222 Hugging Face 与 Kaggle 打通模型访问集成
Hugging Face 与 Kaggle 推出集成，让 Hugging Face 模型可直接在 Kaggle 上被发现和使用。
Hugging Face BlogAI 评分4242 Hugging Face 在 Inference Endpoints 上推出极速 Whisper 转录部署
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，性能较此前版本最高提升 8 倍。
Hugging Face BlogAI 评分4040 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型的关键变化，涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face BlogAI 评分3434 LeRobot 社区数据集：机器人领域的“ImageNet”何时到来、如何实现？
Hugging Face 的 LeRobot 项目正推动社区共建机器人数据集，目标是打造机器人领域的“ImageNet”。目前 Hub 上的 lerobot 数据集数量快速增长，贡献主要集中在 So100 和 Koch 机械臂，聚焦操作任务。文章将泛化视为数据问题，呼吁通过简化录制流程、降低硬件成本来扩大数据多样性。
Hugging Face Blog精选AI 评分6262 如何用 Gradio 构建 MCP Server
Gradio 官方发布教程，介绍如何用几行 Python 把 Gradio 应用变成 MCP Server，让 LLM 以工具形式调用其中的函数。
推荐理由：Gradio 官方给出把任意 Python 函数变成 MCP 工具的完整步骤，可据此把自家模型接口接入 LLM 工具调用。
Hugging Face BlogAI 评分3838 Qwen-3 的 Chat Template 教给我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四项关键变化：通过 enable_thinking 标志可将推理设为可选，而非像 QwQ 那样强制链式推理。
Hugging Face Blog精选AI 评分6262 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个 12B dense 多模态安全模型，以及两个 Llama Prompt Guard 2 模型（86M 和 22M 参数），模型 checkpoint 已上线 Hugging Face Hub 的 Llama 4 Collection。
推荐理由：Meta 发布 Llama Guard 4 多模态安全模型与 Prompt Guard 2，读者可了解其架构裁剪方式与相对前代的性能变化。