跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

239 条精选近 30 天 22 条共收录 717 条

更新

精选归档 · 第 7 页

12月11日周四第 121–140 条
  1. Hugging Face Blog66

    Hugging Face 教程:用 Codex 和 HF Skills 端到端微调模型

    Hugging Face 发布教程,展示如何让 OpenAI Codex 通过 HF Skills 仓库完成端到端机器学习实验,包括数据校验、硬件选择、提交 Hugging Face Jobs 训练、监控进度、评测并生成训练报告。

    推荐理由:原文给出 Codex 调用 HF Skills 完成端到端微调的完整流程与成本区间,可据此判断智能体托管训练实验的可行边界。

12月9日周二
  1. Mistral AI80

    Mistral 发布 Devstral 2 编码模型家族与 Vibe CLI

    Mistral 发布 Devstral 2 编码模型家族,含 123B 的 Devstral 2 和 24B 的 Devstral Small 2,均开源,前者采用修改版 MIT 许可,后者采用 Apache 2.0。

    推荐理由:官方给出两款开源编码模型的参数、许可与 SWE-bench 成绩,并附独立人工评测对比,可据此判断开源编码模型与闭源模型的差距。

12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列,含 675B 参数 Mistral Large 3 与 3B/8B/14B Ministral 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个稠密小模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 全系以 Apache 2.0 开源并给出 NVFP4 量化与多平台部署路径,可据此判断开源前沿模型的落地成本。

12月1日周一
  1. Hugging Face Blog72

    Hugging Face 发布 Transformers v5,主打互操作性

    Hugging Face 发布 Transformers v5.0.0rc-0,主题是互操作性,官方称该库目前每天通过 pip 安装超过 300 万次、累计安装量超 12 亿次,模型架构从 v4 时的 40 个增至 400 多个。

    推荐理由:官方给出 v5 在简化模型定义、训练与推理上的取舍,读者可据此判断自家训练和部署链路要不要跟进。

11月25日周二
  1. Hugging Face Blog62

    Tavily 如何构建达到 SOTA 的深度研究智能体

    Tavily 分享其深度研究智能体的构建经验,通过上下文工程把工具输出蒸馏为反思而非在上下文中累积原始 token,相比 LangChain 的 Open Deep Research 减少 66% token 消耗,并在 DeepResearch Bench 上达到 SOTA。

    推荐理由:Tavily 复盘自建深度研究智能体的架构取舍,给出上下文工程与 token 消耗对比的具体做法,可迁移到其他长任务智能体。

11月21日周五
  1. Hugging Face Blog62

    Hugging Face TRL 集成 RapidFire AI,微调实验提速最高 20 倍

    Hugging Face TRL 正式集成 RapidFire AI,用户可用 RFSFTConfig、RFDPOConfig、RFGRPOConfig 近乎零代码替换原有 SFT/DPO/GRPO 配置,在单张 GPU 上并发运行多组微调配置。

    推荐理由:官方集成给出了并发调度与实时控制的具体机制和基准数字,可据此判断微调实验流程能压缩多少时间。

11月20日周四
11月19日周三
  1. Google Research74

    Google 发布端到端实时语音翻译模型,延迟降至 2 秒

    Google Research 介绍了一种端到端语音到语音翻译(S2ST)模型,直接生成译文音频并保留原说话人音色,延迟仅 2 秒,而现有级联系统通常有 4-5 秒延迟且会累积误差。

    推荐理由:Google 端到端语音翻译把延迟从 4-5 秒压到 2 秒并保留原说话人音色,可对照级联方案理解取舍。

  2. Google DeepMind82

    Google 发布智能体开发平台 Antigravity

    Google 发布智能体开发平台 Antigravity,即日起免费公开预览,提供 Gemini 3 Pro 的宽松速率限制。该平台在传统 AI IDE 之外新增以智能体为中心的 Manager 界面,可并行编排多个工作区中的智能体,并支持浏览器控制与异步交互。

    推荐理由:Google 把 IDE 改造成以智能体为中心的开发平台,读者可据此判断异步编排与 Artifacts 验证会怎样改变编码工作流。

11月17日周一
  1. Google DeepMind62

    Google DeepMind 发布天气预报模型 WeatherNext 2

    Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,称其生成预报速度比前代快 8 倍,分辨率最高可达 1 小时,并能在单个 TPU 上不到一分钟生成数百种可能天气情景。

    推荐理由:官方给出 8 倍生成速度、1 小时分辨率与 99.9% 变量超越前代等指标,可据此判断 AI 天气预报的可用性边界。

11月13日周四
  1. OpenAI News78

    OpenAI 面向开发者发布 GPT-5.1

    GPT-5.1 已在 API 中开放,带来更快的自适应推理、扩展的提示词缓存和改进的编码表现。同时新增 apply_patch 和 shell 两个工具。

    推荐理由:GPT-5.1 进入 API,开发者可据此判断自适应推理、缓存与编码能力的升级幅度。

11月5日周三
  1. Google Research62

    Google 发布 Project Suncatcher 太空 AI 基础设施系统设计预印本

    Google 公布名为 Project Suncatcher 的研究计划,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,相关预印本论文探讨了卫星间高带宽通信、轨道动力学和辐射对计算的影响。

    推荐理由:Google 公开了太空 AI 数据中心的系统设计与关键挑战,读者可了解其轨道方案、星间链路和 TPU 抗辐射测试的早期结论。

10月29日周三
  1. Hugging Face Blog66

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,可看到算力受限如何反过来塑造模型架构与部署生态。

  2. Hugging Face Blog62

    NVIDIA Isaac for Healthcare 如何从仿真到部署构建医疗机器人

    NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的端到端手术辅助机器人工作流,覆盖数据采集、训练与真机部署。该工作流用 LeRobot 采集仿真与真机数据,后训练 GR00T N1.5,并在 Isaac Lab 评估后部署到硬件,其中超过 93% 的训练数据由仿真合成生成。

    推荐理由:原文给出从仿真采集、GR00T N1.5 后训练到真机部署的完整命令与硬件要求,可据此复现医疗机器人工作流。

10月27日周一
  1. Hugging Face Blog62

    Hugging Face 将流式数据集效率提升 100 倍

    Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 的启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多快 2 倍,256 并发 worker 下无崩溃。

    推荐理由:原文给出流式加载的具体优化项与实测倍数,读者可据此判断大规模训练的数据读取成本能降到什么程度。

  2. Hugging Face Blog62

    Hugging Face 发布 huggingface_hub v1.0

    Hugging Face 发布 huggingface_hub v1.0,这是该 Python 库五年来的首个大版本,引入破坏性变更。主要变化包括后端从 requests 迁移到 httpx、以基于 Typer 的 hf CLI 取代已弃用的 huggingface-cli、文件传输全面改用 hf_xet 替代 hf_transfer。

    推荐理由:官方梳理了 v1.0 的破坏性变更与迁移路径,读者可据此判断升级自家依赖库的时机与成本。

10月24日周五
  1. Mistral AI62

    Mistral 发布 AI Studio 生产级 AI 平台

    Mistral 发布 Mistral AI Studio,一个面向企业团队的生产级 AI 平台,围绕可观测性、Agent Runtime 和 AI Registry 三大支柱构建。

    推荐理由:Mistral 把自家大规模系统的可观测、执行与治理能力产品化,读者可据此判断企业 AI 从原型走向生产的工程路径。

10月13日周一
  1. OpenAI News66

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦 OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展且高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 联合设计加速器并规划 10 吉瓦部署,可观察自研芯片与算力基础设施的走向。

10月6日周一
  1. OpenAI News72

    OpenAI Codex 正式可用,新增 Slack 集成、SDK 与管理工具

    OpenAI Codex 现已正式可用,面向开发者新增 Slack 集成、Codex SDK,以及用量看板和工作区管理等管理工具。官方称这些功能让 Codex 更易使用,也更容易在规模化场景下管理。

    推荐理由:Codex 从预览走向正式可用,新增 Slack 集成、SDK 与管理后台,读者可据此判断团队规模化使用的门槛变化。