AWS 为 SageMaker AI 无服务器模型定制推出训练会话

那些从 AI 中获得实际成果的公司，并不只是使用现成的基础模型（FM）。它们利用强化学习等后训练技术来定制开放权重模型。一个基于你的业务背景、产品目录或临床词汇训练的模型，对你的任务会更准确，运行成本也更低。当你构建智能体时，你的数据、工作流、评估和成功标准也会塑造模型的行为。

然而，模型定制并不容易。你必须选择正确的技术，搭建和管理 GPU 基础设施，并且对于智能体而言，还要为多轮强化学习构建环境。我们推出了 Amazon SageMaker AI 无服务器模型定制来解决这些挑战，今天，我们通过正式推出训练会话（training sessions）来扩展这一能力。

借助训练会话，你可以控制后训练逻辑，而无需管理底层基础设施。你编写并协调训练循环，包括自定义损失函数或奖励信号。SageMaker AI 负责 GPU 分配、分布式执行、故障恢复和检查点存储。

无需操心基础设施管理即可进行定制

借助 SageMaker AI 无服务器模型定制，你无需选择实例类型、管理集群或编写分布式训练配置。

我们不想限制你。你可以使用 SFT、DPO、RLVR、RLAIF 或多轮 RL 等技术。你可以通过低秩适应（LoRA）或全量微调来选择更新模型的多少部分，并通过持续定制将多种技术串联起来。

我们不想让你浪费时间。我们的 SageMaker AI 训练会话 cookbook 提供了示例和用例，以及模型定制智能体技能。你描述你的用例，智能体就会处理数据准备、技术选择、训练、评估和部署。该智能体在你工作的地方运行，包括 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot。

“我们采用 SageMaker AI 无服务器训练会话构建了一个医疗理赔拒绝分诊模型，这次体验从第一天起就验证了该平台。低层 API 接口、对前向和反向传播、采样以及优化器步骤的直接控制，为我们的科学家提供了所需的细粒度控制，以在一个要求严苛、对准确性至关重要的用例上开展强化学习。训练会话为我们提供了正确的原语，推动我们迈向生产级性能。”

— Rob Gontarek，ImagineSoftware 数据科学高级副总裁

编写你自己的后训练循环

智能体训练的一个重要转变是转向多轮强化学习。例如，一个负责预订旅行、分诊支持工单或执行多步骤研究任务的智能体，需要经过多轮交互，你才能判断它是否达到了正确的结果。

然而，训练循环很快就会变得复杂。你可能在一套基础设施上训练模型，在另一套上运行推理以生成响应，对这些响应进行评分，并将结果输入到下一次更新中。每个阶段需要不同的计算资源，而跨不同工具和集群将它们连接起来会增加工作量。

SageMaker AI 已经将多轮 RL 作为一项托管、无服务器技术提供。但我们听到客户希望在一个循环中定义自己的损失函数、塑造奖励信号或 RL 阶段。训练会话为你提供了这种灵活性。

“借助 SageMaker AI Serverless Training Sessions，我们针对 Amazon Neptune 知识图谱对 gpt-oss-20b 进行了智能体式多轮工具调用的微调——平台为我们处理了基础设施。设置直接就能用，无需手动调优，也无需费心处理内存不足问题。检查点与恢复功能尤为突出：从精确的步骤恢复完全可靠。它既为我们的开发者提供了他们想要的灵活性，又卸下了他们肩上的运维负担。”

— Nitin Wagh，Karini AI 首席执行官

工作原理

你的代码在你的环境中运行训练循环和奖励函数，并将智能体连接到其工具或模拟器。训练会话执行 GPU 密集型工作：采样器生成响应，训练器计算梯度并更新模型权重。确切的顺序取决于你编写的算法。

例如，让我们看看组相对策略优化（GRPO）的实现。GRPO 是一种强化学习方法，它针对同一提示生成多个响应，对它们进行评分，并利用它们的相对表现来更新模型。循环的一次遍历如下所示：

采样响应 – 你的循环要求采样器使用当前模型为每个提示生成多个响应。
对它们评分 – 你的奖励函数在你的环境中使用验证器、奖励模型或测试框架对每个响应进行评分。
更新模型 – 你的循环将分数发送回训练器。forward_backward() 使用它们计算梯度，optim_step() 将更新应用到模型权重。
刷新并重复 – 你的循环要求会话用更新后的权重刷新采样器，然后开始下一批。你的代码重复这些步骤，直到训练完成。

你为 SageMaker AI 处理的 token 付费。当你的奖励函数在你的环境中对一批进行评分时，计量停止，并且没有需要预留的容量。

保持对数据和模型的控制

每个会话使用你创建的 AWS Identity and Access Management（IAM）执行角色，你可以添加自己的 AWS Key Management Service（AWS KMS）密钥和虚拟私有云（VPC）配置。你的数据保留在你选择的 AWS 区域中你自己的 Amazon Simple Storage Service（Amazon S3）存储桶中，你的检查点也存放在那里。

我们不会使用你的数据或你定制的权重来训练另一个模型。在部署之前，你可以评估模型的准确性、偏见和安全性。部署之后，你可以应用护栏并使用 Amazon CloudWatch 对其进行监控。

你可以继续使用你的团队已有的治理流程。

立即开始

在 SageMaker AI 无服务器模型定制训练会话上编写你自己的训练循环，该功能现已可用，支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

两种入门方式：

在你的 IDE 中：安装 SageMaker Python SDK（在 Linux 或 macOS 上，使用 Python 3.10 至 3.12），克隆 cookbook，然后开始开发。
在 SageMaker Studio 中：在 20 秒内启动一个即用型 AI 开发环境。登录，打开笔记本，连接你的编码智能体（Kiro、Claude Code、Codex 或 Copilot），下载智能体技能和 cookbook，你就可以开始了。

资源

关于作者

Pooja Karadgi

Pooja 是 AWS SageMaker AI 团队的高级产品经理，负责开发者体验和模型定制，包括强化学习。她专注于让先进的微调技术对构建者而言变得实用且易于使用。

Sumedha Swamy

Sumedha 是 Amazon Web Services (AWS) 的产品管理高级经理，负责领导 Amazon SageMaker 的多个领域，包括 SageMaker Studio——业界领先的机器学习集成开发环境、开发者和管理员体验、AI 基础设施以及 SageMaker SDK。

Jason Berkowitz

Jason 是 Amazon Web Services (AWS) 模型训练与推理产品营销负责人，负责领导 SageMaker AI 的定位、信息传递和营销工作。他在分析和 AI 领域拥有超过 25 年的经验，涵盖构建、部署以及将 AI 产品推向市场。