Hugging Face 推出 HUGS 零配置开源模型推理服务
Hugging Face 发布生成式 AI 服务 HUGS，基于 Text Generation Inference 和 Transformers 构建，提供零配置的优化推理微服务，可在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的优化推理部署压缩到零配置，读者可据此判断自托管开源模型的门槛与成本变化。
技术方向
开源生态 最新动态
开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
317 条精选近 30 天 15 条共收录 786 条
更新
精选归档 · 第 11 页
Hugging Face Blog精选AI 评分6060 Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：原文给出了水印的配置参数、检测器训练流程与已知局限，读者可据此判断该方案在自家生成链路中的落地条件。
Hugging Face Blog精选AI 评分7171 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快至多 100 倍，加载模型时设置 device: 'webgpu' 即可启用。
推荐理由：官方发布说明列出 WebGPU 加速、量化格式与 1200 多个预转换模型，可据此判断浏览器端推理的可用边界。
Hugging Face Blog精选AI 评分6262 Diffusers 支持 Stable Diffusion 3.5 Large，含 8B 与 timestep-distilled 两个 checkpoint
Stable Diffusion 3.5 已在 Hugging Face Hub 上线并可通过 Diffusers 使用，发布包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型，后者支持 4-8 步少步推理。
推荐理由：Stable Diffusion 3.5 Large 已在 Hub 上线并接入 Diffusers，文中给出量化推理与 LoRA 训练的完整代码路径。
Mistral AI精选AI 评分6262 Mistral 发布 Ministral 3B 与 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B，面向本地隐私优先推理场景。
推荐理由：Mistral 在 7B 发布一周年推出两款端侧小模型，给出了 128k 上下文、定价与对标基准，可据此判断边缘场景的选型空间。
Hugging Face Blog精选AI 评分6262 Gradio 5 稳定版发布，支持 SSR 与低延迟流式
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 把 SSR、低延迟流式和安全审计打包进稳定版，可据此判断现有 ML 演示应用是否需要升级。
Hugging Face Blog精选AI 评分8080 Llama 3.2 发布：多模态视觉模型与 1B/3B 端侧文本模型上线 Hugging Face
Meta 发布 Llama 3.2，共 10 个开放权重模型，包括 11B 和 90B 两个尺寸的视觉模型（各含 base 与指令微调版）以及 1B、3B 端侧文本模型，均已上线 Hugging Face Hub。
推荐理由：Meta 与 Hugging Face 同步放出 10 个开放权重模型，含 11B/90B 视觉版与 1B/3B 端侧文本版，可据此判断本地多模态与端侧部署的可行边界。
Mistral AI精选AI 评分7272 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格降幅达 80%，Mistral Large 降 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，读者可据此判断其 API 成本与部署选择的变化。
Mistral AI精选AI 评分7070 Mistral 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用 400M 参数从头训练的视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与 128k token 上下文窗口内的多图输入。
推荐理由：官方给出架构细节、MMMU 等基准对比和 Apache 2.0 许可，可据此判断开源多模态模型的当前水位。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比 TII 发布 Falcon Mamba 7B，称其为首个大规模通用纯 Mamba 模型，采用开放许可并已上线 Hugging Face 生态。该模型基于原始 Mamba 架构并加入额外 RMS 归一化层以稳定大规模训练，用约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，单张 A10 24GB GPU 即可运行。
推荐理由：TII 发布首个大规模纯 Mamba 架构 7B 模型，并给出与同规模 Transformer 的基准和长序列内存对比。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入，创始人此前在 Apple 构建并扩展内部 ML 基础设施。XetHub 的技术让 Git 可扩展到 TB 级仓库，HF CTO Julien Chaumond 表示团队将帮助 Hub 把存储后端换成自研的 LFS 替代方案。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Hub 的 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用，并可与 Gemma 2 27B 搭配做辅助生成，官方称可获得最高 3 倍加速且不损失质量。
推荐理由：Gemma 2 新增 2B 小模型与安全分类器、可解释性工具，读者可据此判断端侧部署与内容审核的可用选项。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。官方称其在 MMLU 上达到 84.0% 准确率，代码与推理表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，并针对减少幻觉和指令遵循做了优化。
推荐理由：Mistral Large 2 以 123B 参数实现单节点高吞吐，并给出与 GPT-4o、Claude 3 Opus 的对比数据，便于判断开源模型的性能成本位置。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.1：8B、70B 与 405B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列开源模型，包含 8B、70B、405B 三种规模，各有基础版和指令微调版，上下文长度从 8K 提升到 128K token，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。
推荐理由：Meta 发布 Llama 3.1 三档开源模型，128K 上下文与工具调用能力配合更宽松的许可证，读者可据此判断开源模型在合成数据与蒸馏上的可用边界。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：原文给出把 Mistral 7B 转成 Core ML 并在 Mac 上以不到 4GB 内存运行的完整步骤，可迁移到其他模型转换。
Mistral AI精选AI 评分7878 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最高 128k token 上下文窗口，并以 Apache 2.0 许可开放预训练基础版和指令微调版权重。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型，给出 128k 上下文、Apache 2.0 权重和 FP8 推理等可对比细节。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务，一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Mistral AI精选AI 评分7272 Mistral 发布 Codestral Mamba 代码模型
Mistral 发布 Codestral Mamba，这是一个基于 Mamba 架构的代码模型，采用 Apache 2.0 许可，可免费使用、修改和分发。该模型为指令模型，参数量 7,285,403,648，具备线性时间推理能力，官方在最高 256k tokens 的上下文检索能力上做了测试。
推荐理由：Mistral 官方发布 Mamba 架构代码模型，给出参数量、上下文测试长度与部署方式，可对比 Transformer 路线的取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三档
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三种参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了 135M 到 1.7B 三档小模型的训练数据配方与评测对比，可据此判断端侧小模型的取舍。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先做 CoT 数据训练，再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛或微调任务。