如何在 Intel CPU 上三步运行 VLM:基于 Optimum Intel、OpenVINO 与 SmolVLM
Hugging Face 博客给出在 Intel CPU 上本地运行视觉语言模型(VLM)的三步流程:用 Optimum Intel 与 OpenVINO 将 SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR,再通过仅权重量化或静态量化压缩至 INT8,最后执行推理。
Hugging Face 博客给出在 Intel CPU 上本地运行视觉语言模型(VLM)的三步流程:用 Optimum Intel 与 OpenVINO 将 SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR,再通过仅权重量化或静态量化压缩至 INT8,最后执行推理。
Hugging Face 博客发布三部分系列的第一篇,记录如何将 RedNote 的 3B OCR 模型 dots.ocr 转换为可在 Apple 设备端运行的 Core ML 模型。
OpenAI 使用内部 AI 销售助手对入站线索进行资格筛选、个性化回复,并帮助销售团队转化客户兴趣。该助手用于将客户兴趣转化为实际客户。
OpenAI 推出新系列 "OpenAI on OpenAI",分享其内部如何依赖自身技术来简化工作、扩展专业能力并推动成果,旨在帮助其他组织效仿。
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上加速 Qwen3-8B,以 Qwen3-0.6B 作草稿模型进行投机解码,生成速度提升约 1.3 倍。
针对 Vibe Coding 游戏项目随规模增长而失控的问题,作者推出 VibeGame——一个基于 three.js、rapier 和 bitecs 构建的高层声明式游戏引擎,专为 AI 辅助游戏开发设计。
Hugging Face 发布博客,介绍为支持 OpenAI gpt-oss 系列而在 transformers 中做的多项升级,包括可从 Hub 下载的零构建 Kernel、MXFP4 量化、张量并行、专家并行、动态滑动窗口层与缓存、连续批处理与 Paged Attention,以及更快的模型加载。
推荐理由:Hugging Face 官方拆解了为 gpt-oss 引入 transformers 的七项工程改动,可据此了解量化、并行与缓存优化的落地方式。
Hugging Face 介绍在 ZeroGPU Spaces 中使用 PyTorch 提前编译(AoT)的方法,通过 spaces 包的 aoti_capture、aoti_compile 和 aoti_apply 等接口,把模型编译一次后即时重载,避免 torch.compile 在短生命周期进程中反复编译。
通过 Hugging Face MCP Server 将 Claude 连接至 Hugging Face Spaces,即可调用 FLUX.1 Krea [dev] 和 Qwen-Image 等模型生成图像。
Hugging Face 发布教程,介绍如何通过 Model Context Protocol(MCP)让 AI 智能体用自然语言调用研究工具,自动完成 arXiv、GitHub、Hugging Face 之间的论文、代码与模型检索和交叉引用。
Hugging Face 发布 kernel-builder 库,让开发者可在本地开发自定义 CUDA kernel,再为多种架构构建并发布到 Hugging Face Hub 供他人通过 get_kernel 直接调用。
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel 训练方案,可通过 ParallelismConfig 类自由组合数据并行、FSDP、张量并行与上下文并行策略。
OpenAI 发布文章介绍 GPT-5 在创意写作中的应用。
OpenAI 发文介绍 Cursor 如何使用 GPT-5。原文未披露具体功能细节、参数或性能数据。
Mistral 用 LoRA 微调 Pixtral-12B,在 Aerial Image Dataset(AID)卫星图像分类任务上显著优于基座模型。基座模型在 Playground、Stadium 等易混类别上会误判并偶发幻觉出不存在的类别名,微调后分类更准确。整个流程可通过 Mistral 微调 API 或 LaPlateforme UI 完成,无需大量超参数调优。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将 Python 函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试衣,并通过 VS Code AI Chat 调用 vton 与 playwright 两个 MCP 服务器,完成浏览服装网站并生成试穿效果图。
Intercom 分享了构建可扩展 AI 平台的三条经验,涵盖评估体系与架构设计,目标是引领客户支持的未来。内容围绕如何将 AI 能力沉淀为可持续的竞争优势展开。
PyArrow 和 Pandas 现已支持 Parquet 内容定义分块(CDC),可在 Hugging Face 的 Xet 存储层上对 Parquet 文件高效去重,只上传或下载发生变化的 chunk。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化配方,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上相比基线实现 2.23 倍加速。
推荐理由:原文给出可复用的 LoRA 推理优化配方与实测延迟数据,读者可据此判断热切换与量化在自有硬件上的取舍。
Arc Institute 发起 Virtual Cell Challenge,要求参赛者训练模型预测 CRISPR 沉默某个基因后对细胞的影响,并称之为上下文泛化。
Consilium 是一个在 Gradio Agents & MCP Hackathon 期间构建的多 LLM 平台,让多个 AI 模型通过结构化辩论讨论复杂问题并达成共识,同时提供可视化 Gradio 界面和 MCP server 两种形态。
Hugging Face 发布官方 MCP Server(hf.co/mcp),通过一个 URL 让 AI 助手访问 Hub 与 Spaces 上的数千个 AI 应用,并支持用户动态配置工具。生产环境采用 Streamable HTTP 传输的无状态 Direct Response 配置,开源代码同时支持 STDIO、SSE 和 Streamable HTTP 部署。
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在 PolicyServer 计算下一段动作时持续执行当前动作队列,从而消除等待推理的空闲时间。该方案在 SmolVLA 上实现约 2 倍任务完成速度提升,任务成功率相当,PolicyServer 与 RobotClient 之间通过 gRPC 通信,性能约为同类 REST API 的 5 倍。
Hugging Face 与 AMD 合作,为 AMD MI300X 编写了三个开源自定义内核——融合残差连接/RMS norm/FP8 转换内核、融合 SwiGLU 激活/FP8 转换内核和 Skinny GEMM 内核,用于在 8 卡 MI300X 节点上通过 VLLM 加速 Llama 3.1 405B 的 FP8 推理。
Hugging Face Spaces 上的 Gradio 应用自 5.28.0 版本起支持 MCP 协议,使 Spaces 成为可搜索数千个 MCP server 的"应用商店"。用户可将 Flux.1 Kontext[dev] 等 Space 接入 Cursor、Claude Code、Cline 等 MCP 客户端,让 LLM 获得图像编辑等新能力,目前图像需通过公开 URL 访问。
Hugging Face 基础设施团队公开了支撑其生产环境的三大告警机制,分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。NAT 网关告警在流量超过预设静态阈值时触发,用于发现异常流量峰值并优化网络路径成本;日志归档链路则通过 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Hugging Face 以 nanoVLM 项目为例,展示如何用五阶段构建高效多模态数据管道,解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据,团队随后引入全局最大长度约束,并借助背包问题(knapsack)实现贪心打包,将序列按 token 数尽量塞满每个 batch。
Sentence Transformers 现已支持训练和微调稀疏嵌入模型,可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型,尤其适合混合搜索或检索重排场景。
Hugging Face 发布教程,介绍用 diffusers 库和 QLoRA 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以下。在 RTX 4090 上,QLoRA 峰值显存约 9GB,标准 BF16 LoRA 需 26GB,700 步训练约 41 分钟。
推荐理由:原文给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,可据此复现低显存训练流程。
TNG 在 24 张 H100 上自托管多个大语言模型,服务超 50 个应用,日均消耗超 1 亿 token、生成超 1000 万 token。其分析指出,vLLM 默认的 chunked-prefill 会顺序调度不同请求的 prefill,单个长提示词请求即可阻塞后续请求,显著拉高首 token 延迟。
Hugging Face 发布 Kernel Hub,允许通过 kernels 库的 get_kernel 从 Hub 直接加载预编译优化 kernel,无需本地编译。
NVIDIA 发布 Isaac GR00T N1.5,这是其开源人形机器人基础模型 GR00T N1 的首次重大更新,支持语言和图像多模态输入并可通过后训练适配不同本体。
推荐理由:原文给出从数据准备到真机部署的完整命令流程,读者可据此在低成本 SO-101 机械臂上复现微调。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache,使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自研视觉语言模型的轻量代码库,KV Cache 在 Attention 块、语言模型和生成循环三处启用,将生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型生成。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 搭建了一款完全在 Arm CPU 上本地运行的声音生成工具,无需 GPU 和云端推理,几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face 博客介绍 TRL 新增 vLLM 共置(colocate)模式,训练与推理共享同一批 GPU,不再需要单独的 vLLM 服务器进程。
用户测试 Liger GRPO loss 与 TRL 集成时,在 DeepSpeed ZeRO3、bf16 精度下使用 Qwen2.5-0.5B-Instruct 训练,触发形状不匹配报错。错误发生在 liger_kernel 的 fused_linear_ppo 前向计算中,经 torch._dynamo 编译后抛出。
Hugging Face 将 JS 版 Tiny Agents 移植到 Python,并扩展 huggingface_hub 客户端 SDK 使其充当 MCP Client,可从 MCP 服务器拉取工具并在推理时传给 LLM。
推荐理由:原文给出约 70 行代码实现 MCP 智能体的完整路径,读者可据此理解工具调用循环的最小结构。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型(VLM)的轻量工具包,可在免费 Colab 上启动训练,灵感来自 nanoGPT。
推荐理由:Hugging Face 官方给出纯 PyTorch 训练 VLM 的最小仓库,读者可据此理解视觉与语言模态如何对齐并自行训练。
Hugging Face 发文回顾过去一年视觉语言模型的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。