跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

239 条精选近 30 天 23 条共收录 717 条

更新

精选归档 · 第 5 页

4月22日周三第 81–100 条
4月21日周二
  1. OpenAI News62

    OpenAI 推出 Codex Labs,Codex 周活达 400 万

    OpenAI 推出 Codex Labs,并与埃森哲、普华永道、Infosys 等合作,帮助企业在软件开发全生命周期中部署和扩展 Codex。OpenAI 同时公布 Codex 周活跃用户达到 400 万。

    推荐理由:OpenAI 公布 Codex 周活 400 万并联合埃森哲、普华永道等推企业落地服务,可观察编码智能体的企业采用路径。

4月16日周四
4月15日周三
  1. Hugging Face Blog66

    HCompany 发布浏览器扩展 HoloTab,基于 Holo3 模型自动操作网页

    HCompany 发布 Chrome 扩展 HoloTab,让 Holo3 计算机操作模型直接在浏览器中自动完成网页任务,用户只需描述需求,智能体便自行导航界面、填写字段并做决策,无需任何配置或技术背景。HoloTab 支持 Routines 功能,用户录制一次操作过程(可边操作边口述),扩展会据此生成可重复运行或定时执行的例程。该扩展免费开放使用,已在 Chrome 应用商店上线。

    推荐理由:HCompany 把此前发布的 Holo3 计算机操作模型封装成浏览器扩展,读者可了解其录制复用机制与零门槛定位。

4月1日周三
  1. Hugging Face Blog62

    Gradio 推出 gradio.Server,让任意自定义前端接入其后端

    Hugging Face 发布 gradio.Server,它扩展 FastAPI,让开发者用 React、Svelte 或原生 HTML/JS 等任意前端,同时复用 Gradio 的排队、并发控制、SSE 流式、MCP 支持和 Spaces 上的 ZeroGPU。

    推荐理由:原文给出 gradio.Server 的完整后端示例,读者可据此判断自带前端与 Gradio 队列、ZeroGPU 如何配合。

3月31日周二
  1. Hugging Face Blog62

    Hugging Face 发布 TRL v1.0 后训练库

    Hugging Face 发布 TRL v1.0,将这一原本的研究代码库正式定位为有稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。

    推荐理由:TRL v1.0 把稳定核心与实验层分开,并给出与同类后训练库的横向对比,便于判断选型与迁移成本。

3月27日周五
  1. Hugging Face Blog60

    Hugging Face 教你用开源模型替代 Claude 运行 OpenClaw 智能体

    Anthropic 正在限制 Pro/Max 订阅者在开放智能体平台中使用 Claude 模型,Hugging Face 提出两条迁移路径:通过 Hugging Face Inference Providers 调用开源模型,或在本地硬件上运行开源模型。

    推荐理由:Anthropic 收紧 Claude 在开放智能体平台的访问后,文章给出托管与本地两条迁移路径和具体配置命令。

3月25日周三
  1. Google Research62

    Google 发布 TurboQuant 等向量量化算法,将 KV cache 压缩至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 和 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化算法,可在不损失精度的前提下把 KV cache 压到 3 bit,并给出与基线的对比数据。

3月21日周六
  1. Hugging Face Blog62

    如何在一天内构建领域专用嵌入模型

    NVIDIA 发布一套基于 NeMo 的嵌入模型微调流程,用单张 GPU 和不到一天时间把通用嵌入模型改造成领域专用模型,无需人工标注。流程包含用 LLM 从领域文档生成合成问答对、挖掘难负样本、多跳问题展开、对比学习微调、BEIR 评测以及导出为 ONNX/TensorRT 并用 NVIDIA NIM 部署六步。

    推荐理由:原文给出从文档到部署的六步嵌入模型微调流程与实测指标,可迁移到自有领域语料。

3月18日周三
  1. Mistral AI60

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统。Forge 支持预训练、后训练和强化学习等阶段,可训练模型理解内部术语、代码库与流程,并支持 dense 与 MoE 架构及多模态输入。该产品面向智能体优先设计,Mistral Vibe 等自主智能体可用其微调模型、寻找最优超参数、调度任务并生成合成数据,企业还能通过内部评测与强化学习持续改进模型。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型与智能体的落地路径。

3月17日周二
3月12日周四
3月11日周三
  1. OpenAI News60

    OpenAI 为 Responses API 配备计算机环境,从模型走向智能体

    OpenAI 介绍如何用 Responses API、shell 工具和托管容器构建智能体运行时,让智能体在安全、可扩展的环境中处理文件、工具和状态。原文仅提供摘要,未给出具体版本号、开放时间或性能数据。

    推荐理由:OpenAI 官方说明如何用 Responses API、shell 工具与托管容器搭建智能体运行时,可了解其安全与扩展思路。

3月10日周二
  1. Hugging Face Blog62

    Hugging Face Hub 推出 Storage Buckets 可变对象存储

    Hugging Face 在 Hub 上推出 Storage Buckets,一种非版本化的 S3 式可变对象存储,可通过浏览器、Python 或 hf CLI 管理,地址形如 hf://buckets/username/my-training-bucket。

    推荐理由:原文给出可变对象存储的定位与 Xet 去重、预热的机制,读者可据此判断它是否适合训练中间产物的存放。

3月9日周一
  1. Hugging Face Blog60

    Ulysses 序列并行:用百万 token 上下文训练大模型

    Hugging Face 发布教程,介绍源自 Snowflake AI Research 的 Ulysses 序列并行如何通过注意力头切分把长序列训练分布到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:原文给出 Ulysses 序列并行在 Hugging Face 生态的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月5日周四