跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

236 条精选近 30 天 23 条共收录 697 条

更新

精选归档 · 第 4 页

6月9日周二第 61–80 条
  1. Hugging Face Blog62

    如何把 GitHub CI 迁移到 Hugging Face Jobs

    Hugging Face 官方博客给出把 GitHub Actions 的 CI 任务迁移到 Hugging Face Jobs 的分步教程,只需把 runs-on 从 ubuntu-latest 改成 hf-jobs-cpu-upgrade 或 hf-jobs-t4-small 等标签。

    推荐理由:原文给出把 GitHub Actions 任务改到 Hugging Face Jobs 上运行的完整步骤与实测数据,可据此迁移自家 CI。

6月4日周四
  1. Hugging Face Blog62

    Hugging Face 将 hf CLI 重构为面向智能体优化的 Hub 命令行工具

    Hugging Face 重构官方命令行工具 hf CLI,使其同时适配人类用户和 Claude Code、Codex、Cursor 等编码智能体,新增 agent 模式输出、下一步命令提示和非阻塞重试机制。

    推荐理由:官方给出 hf CLI 面向智能体重构的细节与基准数据,可据此判断命令行工具该如何适配编码智能体。

  2. Google Research62

    Google 开源洪水预报水文建模框架

    Google Research 在 GitHub 上以 Apache 2.0 协议开源其水文建模框架,供各国气象与水文机构将 AI 洪水预报接入自身工作流。该框架是基于 PyTorch 的 Python 包,采用 LSTM 网络架构,可用开源 Caravan 数据集训练,并支持加入本地数据微调。

    推荐理由:Google 开源其洪水预报水文建模框架,读者可了解模型架构、训练数据与业务化接入方式。

6月2日周二
  1. Hugging Face Blog72

    H Company 发布 Holo3.1 计算机使用智能体模型家族

    H Company 发布 Holo3.1 计算机使用智能体模型家族,基于 Qwen 系列,覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重。

    推荐理由:Holo3.1 给出跨环境与跨框架的鲁棒性提升,并首次提供量化权重,读者可据此判断本地部署计算机使用智能体的可行路径。

6月1日周一
  1. Hugging Face Blog60

    JetBrains 发布 Mellum2:12B 混合专家模型

    JetBrains 发布 Mellum2,一个从零训练的 12B 参数混合专家(MoE)模型,覆盖自然语言与代码,每个 token 仅激活 2.5B 参数,采用 Apache 2.0 许可。官方称其面向路由、RAG、摘要、子智能体和高吞吐编码等低延迟场景,相比同规模模型推理速度提升超过 2 倍,模型已在 Hugging Face 开放下载,技术报告发布于 arXiv。

    推荐理由:JetBrains 开源 12B MoE 模型,每 token 仅激活 2.5B 参数,可据此判断轻量模型在路由与 RAG 场景的部署取舍。

  2. OpenAI News60

    OpenAI 前沿模型与 Codex 正式上线 AWS

    OpenAI 前沿模型与 Codex 现已在 AWS 上正式可用,企业可通过已有的 AWS 环境、管控和采购流程接入 OpenAI。客户可在 AWS 上开始使用 OpenAI,从评估到生产部署的推进更快。

    推荐理由:OpenAI 前沿模型与 Codex 上线 AWS,企业可在既有云环境与采购流程中直接接入。

5月28日周四
  1. Mistral AI71

    Mistral AI 发布 Search Toolkit 公开预览版

    Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索管线的可组合框架,将数据摄取、检索和评测整合到共享接口下,开源并支持云端、本地和边缘部署。

    推荐理由:原文给出检索管线的统一框架与内置评测指标,读者可据此判断自建 RAG 检索栈的整合成本。

5月27日周三
  1. Mistral AI60

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于加速产品设计、工装工艺设计和实时数字孪生,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。

    推荐理由:Mistral 把物理仿真 AI 纳入企业平台,读者可据此判断工业设计流程的算力与迭代节奏会如何变化。

  2. Hugging Face Blog62

    Reachy Mini 实现全本地语音对话

    Hugging Face 发布教程,介绍如何让 Reachy Mini 完全本地运行语音对话,无需云端、API key,音频不出本机。

    推荐理由:Hugging Face 给出 Reachy Mini 全本地语音对话的完整级联方案与可替换组件清单,读者可据此复现并自行替换各环节模型。

  3. Hugging Face Blog75

    Hugging Face 在 TRL 中实现增量权重同步,用 Hub Bucket 传输万亿参数模型

    Hugging Face 在 TRL 中落地增量权重同步(Delta Weight Sync):只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件上传到 Hub Bucket,再由 vLLM 拉取应用。

    推荐理由:TRL 把稀疏增量权重同步做成了可 pip 安装的实现,读者可据此判断跨机房异步 RL 训练的部署成本。

5月22日周五
  1. Mistral AI62

    Mistral 在 Studio 发布 Connectors,支持内置与自定义 MCP

    Mistral 在 Studio 发布 Connectors(公开预览),内置连接器和自定义 MCP 均可通过 API/SDK 用于所有模型与智能体调用。连接器以 MCP 协议打包为可复用实体,集中注册后可在 LeChat 和 AI Studio 中使用,并支持程序化创建、修改、列出和删除。

    推荐理由:原文给出连接器注册、直接工具调用与人工审批三段能力,读者可据此判断企业级 Agent 集成层的落地方式。

5月6日周三
  1. Google DeepMind71

    Google DeepMind 发布 AlphaEvolve 一年落地成果

    Google DeepMind 汇总了 Gemini 驱动的编码智能体 AlphaEvolve 发布一年来的落地成果,覆盖数学、量子物理、基因组、电网与 AI 基础设施等领域。

    推荐理由:官方汇总 AlphaEvolve 一年落地案例,涵盖基因组、电网、TPU 与量子模拟,可据此判断编码智能体的跨领域迁移边界。

4月29日周三
  1. Hugging Face Blog62

    Granite 4.1 LLM 是如何构建的:IBM 公开预训练、SFT 与强化学习全流程

    IBM Granite 团队发布技术文章,详解 Granite 4.1 系列(3B、8B、30B 稠密 decoder-only 模型)的构建流程:约 15T token 五阶段预训练、上下文扩展至 512K、约 4.1M 高质量样本的 SFT,以及基于 on-policy GRPO 与 DAPO loss 的多阶段强化学习。

    推荐理由:Granite 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的取舍。

4月28日周二
4月27日周一
  1. Mistral AI71

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览

    Mistral AI 发布 Workflows 公开预览,定位为企业 AI 的编排层,提供持久化执行、可观测性和容错能力,用于把 AI 流程从概念验证推进到生产。

    推荐理由:原文给出企业级 AI 编排层的持久化执行、可观测与人工审批能力,以及控制面与数据面分离的部署方式,可供评估生产落地路径。

  2. Hugging Face Blog62

    如何用 OpenAI Privacy Filter 构建可扩展 Web 应用

    Hugging Face 博客介绍了基于 OpenAI 本周在 Hub 上开源的 Privacy Filter 构建三个 Web 应用的实践。Privacy Filter 是 1.5B 参数、50M 激活参数的 PII 检测模型,Apache 2.0 许可,单次前向处理 128k 上下文,覆盖八类 PII,在 PII-Masking-300k 基准上达到 SOTA。

    推荐理由:原文给出三个基于 Privacy Filter 的完整应用示例,读者可参考其 gradio.Server 前后端分工方式来搭建自己的 PII 脱敏工具。

4月23日周四
  1. Hugging Face Blog60

    如何在 Chrome 扩展中使用 Transformers.js

    Hugging Face 发布教程,讲解如何在 Manifest V3 约束下用 Transformers.js 在 Chrome 扩展中运行本地 AI 功能,并以自家 Gemma 4 浏览器助手扩展为参考实现。

    推荐理由:以官方发布的 Gemma 4 浏览器扩展为参照,拆解 MV3 下本地模型托管、消息契约与工具调用循环的架构取舍。

4月22日周三