Arm 将参展 PyTorch Conference,展示 ExecuTorch 与 vLLM 等 AI 技术
Arm 将于 10 月 22-23 日参展 PyTorch Conference,展示基于 PyTorch 和 ExecuTorch 的 AI 应用开发与部署方案。
Arm 将于 10 月 22-23 日参展 PyTorch Conference,展示基于 PyTorch 和 ExecuTorch 的 AI 应用开发与部署方案。
NVIDIA 发布 Nemotron-Personas-Japan,一个面向日语 AI 的开放合成人格数据集,采用 CC BY 4.0 许可,可商用与非商用。数据集含 100 万条记录、每条 6 个人格,共 600 万个人格,约 14 亿 token,覆盖约 95 万个独特姓名和 1500 多个职业类别。
Hugging Face Hub 新增 Public AI 为 Inference Provider,用户可直接调用 Swiss AI Initiative、AI Singapore 等机构的公共与主权模型。
Hugging Face 发布博客,介绍为支持 OpenAI gpt-oss 系列而在 transformers 中做的多项升级,包括可从 Hub 下载的零构建 Kernel、MXFP4 量化、张量并行、专家并行、动态滑动窗口层与缓存、连续批处理与 Paged Attention,以及更快的模型加载。
推荐理由:Hugging Face 官方拆解了为 gpt-oss 引入 transformers 的七项工程改动,可据此了解量化、并行与缓存优化的落地方式。
Together AI 与 Hugging Face 联合推出新能力,Hugging Face Hub 上任意兼容的 LLM 均可通过 Together AI 基础设施微调,支持公开和私有仓库,训练完成后可自动回传至 Hub。
Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200MB。
推荐理由:原文给出 308M 参数、2K 上下文与量化后 200MB 内存等指标,可据此判断端侧多语言检索的可用边界。
Hugging Face 介绍在 ZeroGPU Spaces 中使用 PyTorch 提前编译(AoT)的方法,通过 spaces 包的 aoti_capture、aoti_compile 和 aoti_apply 等接口,把模型编译一次后即时重载,避免 torch.compile 在短生命周期进程中反复编译。
NVIDIA 发布 Nemotron Post-Training Dataset V2,将英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言,规模约 600 万条。
推荐理由:NVIDIA 公开了多语言推理数据集的构建流程与过滤细节,可据此判断合成后训练数据的翻译质量风险。
Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI,为基于最新 Arm CPU 架构的设备以及大量旧款手机带来自动加速,Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得优化。
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel 训练方案,可通过 ParallelismConfig 类自由组合数据并行、FSDP、张量并行与上下文并行策略。
OpenAI 发布其能力最强的开放权重模型,称这是让先进 AI 更开放、灵活和可及的重要一步。官方表示,此次发布旨在推动 AI 惠及尽可能多的人,但未在摘要中给出具体模型名称、参数或能力细节。
推荐理由:OpenAI 官方宣布发布其能力最强的开放权重模型,读者可据此了解其开放与可及性主张。
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重推理模型,采用 Apache 2.0 许可,并适用 gpt-oss 使用政策。
推荐理由:OpenAI 以 Apache 2.0 开源两款推理模型,读者可据此了解开放权重模型的新选项与许可条件。
OpenAI 研究发布开放权重模型 gpt-oss 的最坏情况前沿风险,提出"恶意微调"(MFT)方法,通过微调让 gpt-oss 在生物学和网络安全两个领域尽可能发挥最大能力。
NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速可靠部署。NIM 现在提供单个 Docker 容器,可部署由 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM,并自动完成模型格式识别、架构与量化格式检测、后端选择和性能配置,无需手动调优。
推荐理由:NIM 用单个容器自动识别模型格式与量化方式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。
Hugging Face 宣布 Hub 存储从 Git LFS 迁移到 Xet,6 个月内已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在使用 Xet。迁移依靠 Git LFS Bridge 和后台迁移流程实现,旧版客户端无需更换工作流即可继续上传下载。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新建仓库默认启用 Xet,后续还将开源 Xet 协议及整套基础设施。
推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可看到大规模存储迁移如何做到对用户零打扰。
Hugging Face 基础设施团队公开了支撑其生产环境的三大告警机制,分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。NAT 网关告警在流量超过预设静态阈值时触发,用于发现异常流量峰值并优化网络路径成本;日志归档链路则通过 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Mistral AI 推出 AI for Citizens 协作计划,帮助各国政府和公共机构战略性地运用 AI 改造公共服务、推动创新并保障竞争力。该计划提供开放技术平台、自托管部署、数据主权保障及定制化研发,已与法国、卢森堡、新加坡、荷兰、英国、瑞士等国政府及公共部门合作。
Gemma 3n 从 Google I/O 的预览版转为正式发布,已在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库上线。
推荐理由:Gemma 3n 正式开源并接入主流推理库,读者可据此了解端侧多模态模型的硬件门槛与部署路径。
SGLang 新增 Hugging Face transformers 作为后端,可直接以高性能推理运行任意 transformers 兼容模型,无需原生支持。
Hugging Face 发布 Kernel Hub,允许通过 kernels 库的 get_kernel 从 Hub 直接加载预编译优化 kernel,无需本地编译。
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service,让全球研究机构更便捷地获取大型 GPU 集群,按训练运行时长付费。
推荐理由:原文给出按训练时长付费的 GPU 集群申请入口和 NVIDIA DGX Cloud Lepton 的接入方式,读者可据此判断算力获取路径的变化。
Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量与气隙本地 GPU 部署,代码留在企业边界内。
推荐理由:官方给出企业级编码助手的模型组合、部署形态与首批客户,可据此判断私有化编码方案的落地路径。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 搭建了一款完全在 Arm CPU 上本地运行的声音生成工具,无需 GPU 和云端推理,几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face 博客介绍 TRL 新增 vLLM 共置(colocate)模式,训练与推理共享同一批 GPU,不再需要单独的 vLLM 服务器进程。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
在 Microsoft Build 大会上,Satya Nadella 宣布扩大与 Hugging Face 的合作,Azure AI Foundry 的 Hugging Face Collection 现可一键部署 1 万多个开放模型,覆盖文本、音频和图像任务。
Hugging Face 在博客中表示,未来目标是让 Transformers 成为各框架之间的模型定义中枢,模型架构只要被 Transformers 支持,就能在生态其他工具中获得支持。
推荐理由:Hugging Face 官方说明 Transformers 将作为跨框架模型定义中枢,读者可据此理解模型接入与部署链路的变化。
Hugging Face 与 Kaggle 推出集成,让 Hugging Face 模型可直接在 Kaggle 上被发现和使用。
Hugging Face 发文回顾过去一年视觉语言模型的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face 的 LeRobot 项目正推动社区共建机器人数据集,目标是打造机器人领域的“ImageNet”。目前 Hub 上的 lerobot 数据集数量快速增长,贡献主要集中在 So100 和 Koch 机械臂,聚焦操作任务。文章将泛化视为数据问题,呼吁通过简化录制流程、降低硬件成本来扩大数据多样性。
Gradio 官方博客列出 17 个理由,说明它不只是 Python UI 库,而是同时提供 UI 与 API 的机器学习交互框架。所有 Gradio 应用自带 REST API 端点,并提供 Python(gradio_client)和 JavaScript(@gradio/client)官方 SDK 及 cURL 访问。
Hugging Face 宣布收购已成立 9 年的开源机器人公司 Pollen Robotics,这是其第五次收购,此前曾收购 Gradio 和 XetHub。
推荐理由:Hugging Face 收购 Pollen Robotics 并开卖开源人形机器人,读者可了解其开源机器人布局与 Reachy 2 的定位。
Protect AI 与 Hugging Face 合作半年,已扫描 Hugging Face Hub 上 141 万个仓库中的 447 万个模型版本,在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Meta 发布 Llama 4 Maverick(约 400B 总参数)和 Llama 4 Scout(约 109B 总参数)两款原生多模态 MoE 模型,均为 17B 激活参数,权重已上线 Hugging Face 的 meta-llama 组织。
推荐理由:Meta 发布 Llama 4 两款 MoE 多模态模型,Hugging Face 同步给出架构细节与部署方式,便于判断长上下文与端侧部署取舍。
Gradio 月活开发者已超过 100 万,被 Automatic1111、LLaMA-Factory 等热门开源项目使用。Hugging Face 回顾其五年增长经验:坚持投入底层原语而非高层抽象,如今 gr.Blocks 占 Gradio 使用量的 80%;专注机器学习 Web 应用这一细分场景,并借助 share links 和 Hugging Face Spaces 实现病毒式传播。
Hugging Face 将其已运营 3 年的 NLP Course 更名为 LLM Course,并新增微调 LLM、构建 Deepseek R1 等推理模型的章节。
Hugging Face 将密钥管理从 AWS 单云方案迁移到 Infisical,以应对多云环境下的密钥散乱、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新,并借助 Okta 集成实现细粒度 RBAC,同时用 CLI 替代本地 .env 文件。
Hugging Face 发布教程,介绍如何在本地通过 LM Studio 运行 OlympicCoder 7B 的 4bit GGUF 量化版,并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face 于 3 月 14 日向白宫 OSTP 的 AI 行动计划 RFI 提交回应,主张开源与开放科学是 AI 性能、采用与安全的基础。
Hugging Face 的 Xet 团队已将首批模型和数据集仓库从 LFS 迁移到 Xet 存储,迁移量约 4.5 TB,占 Hub 下载流量约 6%。Xet 采用内容定义分块(约 64KB)做字节级去重,改动小部分数据时只上传变化的块,官方举例称一个约 5 GB 的 SQLite 数据库追加 1 MB 数据,上传耗时从 LFS 下的 13 分钟降到 0.1 秒。
推荐理由:Hugging Face 官方复盘 Xet 存储首次迁移,给出块级去重带来的传输收益与迁移中暴露的工程问题。