高效请求排队：优化 LLM 性能
TNG Technology Consulting 分享了自托管 LLM 服务中通过公平调度优化请求排队的方法：在 vLLM 等推理引擎前加一层 LLM-Server，为每个用户和模型维护独立队列，用轮询调度替代 FIFO，避免单个用户的大量请求阻塞其他人。
#部署/工程
Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分1818 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移到 Infisical，以应对多云环境下的密钥散乱、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3838 Hugging Face 将 Intel Gaudi 支持原生集成进 TGI
Hugging Face 通过 PR #3091 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference（TGI），不再需要维护独立的 tgi-gaudi 分支。
Hugging Face BlogAI 评分1818 Hugging Face Inference Endpoints 推出全新实时分析仪表盘
Hugging Face 为 Inference Endpoints 更新分析仪表盘，指标数据改为实时更新，并重构后端以加快高流量端点的数据加载。新增可自定义时间范围与自动刷新功能，同时引入副本生命周期视图，可追踪每个副本从初始化到终止的每次状态转换。
OpenAI NewsAI 评分2222 Booking.com 用 OpenAI LLM 实现大规模旅行个性化
Booking.com 将数据系统与 OpenAI 的 LLM 集成，用于提供更智能的搜索、更快的客服支持和意图驱动的旅行体验。该方案面向大规模旅行个性化场景，通过 LLM 理解用户意图来改善搜索与支持环节。
Hugging Face BlogAI 评分3838 Open R1 教程：如何在本地用 OlympicCoder 7B 搭建编程助手
Hugging Face 发布教程，介绍如何在本地通过 LM Studio 运行 OlympicCoder 7B 的 4bit GGUF 量化版，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Xet 存储上线 Hub，首批仓库完成迁移
Hugging Face 的 Xet 团队已将首批模型和数据集仓库从 LFS 迁移到 Xet 存储，迁移量约 4.5 TB，占 Hub 下载流量约 6%。Xet 采用内容定义分块（约 64KB）做字节级去重，改动小部分数据时只上传变化的块，官方举例称一个约 5 GB 的 SQLite 数据库追加 1 MB 数据，上传耗时从 LFS 下的 13 分钟降到 0.1 秒。
推荐理由：Hugging Face 官方复盘 Xet 存储首次迁移，给出块级去重带来的传输收益与迁移中暴露的工程问题。
Hugging Face Blog精选AI 评分8282 Google 发布 Gemma 3 开源多模态模型，覆盖 1B 至 27B 四种尺寸
Google 发布 Gemma 3 系列开放权重模型，包含 1B、4B、12B、27B 四种尺寸，均有预训练和指令微调版本。4B、12B、27B 支持图像与文本输入及 140 多种语言，上下文窗口从 Gemma 2 的 8k 提升至 128k（1B 为 32k）。
推荐理由：梳理 Gemma 3 的四种尺寸、多模态与 128k 上下文等规格，并给出 transformers 与端侧推理的可用路径。
Hugging Face BlogAI 评分5252 如何在手机上用 React Native 本地运行 LLM：Hugging Face 端侧推理教程
Hugging Face 发布教程，讲解如何用 React Native 和 llama.rn 构建一个从 Hugging Face Hub 下载 GGUF 模型并在手机本地推理的聊天应用，代码开源在 EdgeLLM 仓库。
Mistral AI精选AI 评分7676 Mistral AI 发布文档理解 OCR API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可读取图片和 PDF，按顺序交错输出文本与图像，并已作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出与 Google Document AI、Azure OCR、Gemini 系列的横向基准对比，可据此判断文档解析在 RAG 流程中的选型空间。
OpenAI NewsAI 评分2323 OpenAI 如何将工程周期加速 20%
OpenAI 将工程周期加速了 20%。
Hugging Face BlogAI 评分3434 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 对基于 smolagents 构建的 Agent 进行追踪与评估，通过 OpenTelemetry 和 OpenInference 自动捕获每次 Agent 调用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置语音检测与轮次切换、Gradio WebRTC UI，并支持 WebSocket 和挂载到 FastAPI。
推荐理由：FastRTC 把 WebRTC 实时音视频通信封装成 Python 库，读者可据此判断实时语音应用的搭建门槛变化。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Remote VAE：用 Inference Endpoints 远程解码
Hugging Face Diffusers 团队实验性推出 Remote VAE，将潜空间扩散模型的 VAE 解码过程委托给远程 Inference Endpoints，以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face BlogAI 评分3232 Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、Flux.1 等模型，并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 或通过 HF 路由调用，PRO 用户每月获赠 2 美元推理额度。
Mistral AI精选AI 评分6262 Mistral 发布 24B 区域语言模型 Mistral Saba
Mistral AI 发布 Mistral Saba，这是其首个专门面向区域语言的模型，参数规模 24B，基于中东和南亚地区精选数据集训练。该模型支持阿拉伯语和多种印度语系语言，在南印度语系如泰米尔语上表现突出，官方称其回答比规模大 5 倍以上的模型更准确，同时速度更快、成本更低。
推荐理由：Mistral 推出面向中东和南亚的区域语言模型，读者可了解其参数规模、语言覆盖和本地部署方式。
Hugging Face BlogAI 评分2222 Fireworks.ai 成为 HF Hub 支持的推理服务商
Hugging Face Hub 新增 Fireworks.ai 作为推理服务商，可直接在模型页及整个 HF 生态中调用其无服务器推理。
Hugging Face BlogAI 评分4848 Hugging Face 实测：10 亿次分类与嵌入推理的成本与延迟优化
Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本：在 nvidia-L4（$0.8/hr）上，135M 的 DistilBERT 分类模型处理 10 亿输入需 $253.82，149M 的 gte-modernbert-base 嵌入需 $409.44，2.21B 的 ColQwen2 视觉嵌入则高达 $44,496.51。
Hugging Face Blog精选AI 评分6060 Hugging Face 用块级聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队将内容定义分块（CDC）投入生产，通过块（最大 64MB）和分片聚合，把 CAS 条目减少约 1000 倍，部分场景上传下载提速 2-3 倍。
推荐理由：Hugging Face 公开了 Xet 存储的块级聚合设计，读者可据此理解大文件去重为何不能只靠分块。
Mistral AI精选AI 评分7171 Mistral 发布全新 le Chat 助手，上线 iOS 与 Android 并推出 Pro 和 Team 订阅
Mistral 发布全新 le Chat AI 助手，同步上线 iOS 和 Android，并推出 Pro 与 Team 订阅层级，Enterprise 版进入私有预览。
推荐理由：官方一次性给出 le Chat 的移动端、Pro/Team 定价与企业私有预览，可据此判断 Mistral 在消费级助手上的产品布局。
OpenAI NewsAI 评分2222 OpenAI 在欧洲推出数据驻留功能
OpenAI 面向欧洲客户推出数据驻留功能，允许将数据存储在欧洲本地。该功能建立在 OpenAI 面向全球客户的企业级数据隐私、安全与合规体系之上。
Hugging Face BlogAI 评分5050 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务，并同步集成到 JS 与 Python 客户端 SDK。
推荐理由：Hugging Face 把四家无服务器推理商接入模型页与 SDK，读者可据此了解多供应商切换与计费方式的变化。
Hugging Face Blog精选AI 评分6262 Diffusers 中的开源视频生成模型现状
Hugging Face Diffusers 团队梳理了开源视频生成模型的现状，列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开放模型与 Sora、Veo 2、Kling 等闭源模型的对照。
推荐理由：Diffusers 团队梳理开源视频生成模型现状，并给出显存优化与微调的实测数据，可据此评估本地部署门槛。
Hugging Face BlogAI 评分4343 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列 KV Cache 压缩技术降低长上下文 LLM 的显存占用。以 Llama 3-70B 在 bfloat16 下处理 1M tokens 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成高性能推理部署
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI 推理基础设施集成进 Hugging Face Hub 的“Deploy this model”按钮，实现一键部署。
Hugging Face BlogAI 评分5555 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过 Rust 的 Backend trait 让 TGI 作为统一前端层接入不同推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布静态嵌入模型，CPU 推理快 100 至 400 倍
Hugging Face 发布两个静态嵌入模型 static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1，在 CPU 上比 all-mpnet-base-v2、multilingual-e5-small 等常见模型快 100 至 400 倍，同时保留至少 85% 的性能。
推荐理由：原文给出静态嵌入模型的训练配方与两个已发布模型，读者可据此判断低算力场景下嵌入推理的可行边界。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录显存快照、导出 profile.pkl 并在 pytorch.org/memory_viz 可视化，逐步拆解模型创建、前向、反向和优化器各阶段的显存变化。
推荐理由：原文给出 PyTorch 显存快照的可视化步骤与显存估算公式，读者可据此定位训练中的显存峰值来源。
Hugging Face BlogAI 评分4242 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可在 Hugging Face Transformers 的 generate 方法中直接修改预测分数，实现控制序列长度、强制关键短语、引导多选题答案等任务。
Hugging Face Blog精选AI 评分6262 IBM 等联合发布 Bamba-9B 混合 Mamba2 模型
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由：原文给出混合 Mamba2 架构在 vLLM 中的吞吐与延迟实测数据，以及开放权重和训练配方，便于判断该架构的推理效率取舍。
Hugging Face BlogAI 评分2222 在 GCP 第五代 Xeon 上基准测试语言模型性能
Hugging Face 在 Google Cloud 的 N2 与 C4 实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载，C4 的文本嵌入吞吐量是 N2 的 10x 至 24x，文本生成吞吐量是 N2 的 2.3x 至 3.6x。
Hugging Face BlogAI 评分2222 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供给 AWS 客户部署，底层由 Amazon SageMaker JumpStart 管理端点。
Hugging Face BlogAI 评分3131 LLM 修复自身错误的能力有多强？基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型（5 个约 8B 参数、3 个约 2B 参数），场景是把自然语言日历请求翻译成 Python API 调用。
Hugging Face BlogAI 评分3434 CFM 如何用 LLM 辅助标注微调小模型：金融 NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融命名实体识别上准确率最高提升 6.4%，推理成本较大模型低至 80 倍。
Hugging Face BlogAI 评分3636 Hugging Face 重构 Hub 上传与下载架构
Hugging Face 正为 Hub 重新设计上传与下载架构，引入内容寻址存储（CAS）并构建自定义传输协议，采用"读路径简单、写路径智能"的思路，按字节级分析文件以加速大文件传输。
Hugging Face BlogAI 评分4040 Hugging Face 详解 LayerSkip 自推测解码：用模型自身早退层加速文本生成
Hugging Face 博客介绍 LayerSkip 提出的自推测解码，用同一 LLM 的浅层生成 draft token、深层负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分4747 Hugging Face 如何用内容定义分块提升存储效率
Hugging Face 的 Xet 团队正用内容定义分块（CDC）把文件拆成可变大小的块，只传输和存储被修改的块，从而提升存储效率与迭代速度。在 CORD-19 数据集基准中，Xet 后端相比 Git LFS 平均下载时间从 51 分钟降至 19 分钟、上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Mistral AIAI 评分4040 Mistral AI 推出 Batch API，成本较同步调用降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，处理高并发请求的成本比同步 API 调用低 50%。该 API 面向批量数据处理场景，支持客户反馈分析、文档批量摘要与翻译、向量嵌入及数据标注等用途，适用于平台上的所有模型，每个工作区最多 100 万个进行中的请求。