跳到正文
OpenRouter Blog·· 2 天前精选AI 评分61

OpenRouter 推出 Private Endpoints,可将微调模型与预留容量接入统一 API

Private Endpoints: Bring Your Fine-Tuned Models and Capacity to OpenRouter

AI 导读

OpenRouter 发布 Private Endpoints,企业可将微调模型、专属部署或预留容量注册为私有端点,继续用现有 API 和模型 slug 调用,公开提供商可作为限流或故障时的备用。

推荐理由

原文给出私有端点注册、测试与路由的完整流程,读者可据此判断自建微调模型如何并入现有 API 调用。

正文 · AI 翻译

今天我们推出 Private Endpoints。OpenRouter 已经将你的团队使用的公共模型统一到一个 API 之下。现在,它也能为你的团队独有的部署提供服务。如果你运行的是微调模型、公共模型的专用部署,或你向提供商预留的容量,你可以将其通过 OpenRouter 路由,与目录中的其他所有内容一起使用。你的团队可以继续使用现有的 API、模型 slug 和路由偏好。私有端点仅在你的组织内可见。

Private Endpoints 是 Enterprise 计划的附加功能。请联系你的客户代表为你的组织启用,或与团队联系。

你可以用它做什么

微调模型和预留容量过去意味着在 OpenRouter 之外还要进行第二次集成。现在,你可以将部署注册为私有端点,并通过你已经在使用的 API 调用它,如果它宕机或达到速率限制,公共提供商可作为可选备份。只有你批准的组织才能看到它,它永远不会出现在公共模型列表、排名、搜索、图表或基准测试中。

例如,如果你的组织拥有 DeepSeek V4 Pro 的专用 Azure 部署,你可以将其注册为 deepseek/deepseek-v4-pro 的私有端点,你的应用可以继续调用该 slug。对于你的组织来说,它默认会移到提供商列表的前面,Model Fallbacks、Provider Selection 以及其他路由功能与任何提供商一样正常工作。OpenRouter 通过 BYOK 使用你的 Azure 密钥访问它,因此 Azure 直接向你计费。

预留容量也享有同样的待遇。将私有端点指向它,你的组织的流量默认会先流向那里。当它受到速率限制或不可用时,OpenRouter 可以在你设置的提供商偏好和 BYOK 回退设置范围内,将溢出流量发送到公共提供商。

设置端点

Private Endpoints 启用后,组织管理员可以从你账户中的 Private Endpoints 页面注册部署。该部署必须由我们为 BYOK 支持的提供商托管,因为 OpenRouter 使用你自己的密钥访问它。它还必须提供已在 OpenRouter 目录中的模型,因为它会继承该模型的 slug 和能力。你可以附加自己的定价,以便该端点在成本报告中准确显示,并声明该部署是否保留提示。

The Add private endpoint wizard on its Blueprint step, with Connect, Test, and Activate still to come. The catalog model is set to Anthropic: Claude Haiku 5.5 and the BYOK provider list is open.

在有任何流量路由到新端点之前,OpenRouter 会通过保存在你某个工作区中的提供商密钥发送一个真实请求。该请求证明密钥被接受、部署支持 OpenAI 兼容格式、流式传输正常工作、用量返回用于计费,并且模型 ID 与你注册的一致。一旦通过,你就可以激活该端点,你组织中的工作区便可以通过模型 slug 调用它。在此之前,它保持隐藏且无法被调用。

通过代码管理端点

如果你运行的不止几个端点,或者你将基础设施保存在代码中,你可以跳过设置页面。Private Endpoints API 覆盖整个生命周期,从注册草稿、运行测试检查,到激活、定价更新、暂停和删除。它使用组织 Management API key 进行身份验证,一次创建调用即可注册、测试并激活一个端点。

curl https://openrouter.ai/api/v1/private-endpoints \
  -H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: gpt-4o-prod" \
  -d '{
    "model_permaslug": "openai/gpt-4o-2024-08-06",
    "provider_slug": "openai",
    "base_url": "https://api.openai.com/v1",
    "upstream_model_id": "gpt-4o-2024-08-06",
    "pricing": { "prompt": "0.0000025", "completion": "0.00001" },
    "activate": { "workspace_id": "<workspace-id>" }
  }'

如果测试检查失败,草稿会被保留并返回失败的检查项,因此你可以修补后重试。Idempotency-Key 头使得重试是安全的(重复的 key 会返回第一次请求创建的端点)。OpenRouter Terraform provider 将这一切封装在一个 openrouter_private_endpoint 资源中,因此 terraform apply 会注册、测试并激活端点,而 terraform destroy 会将其移除。

须知

  • 将端点标记为私有并不会使其成为 Zero Data Retention 端点。你的提供商处理提示的方式与之前完全相同,OpenRouter 会记录你在注册部署时声明的数据策略。
  • 如果 OpenRouter 能从其地址推断出区域,或者你在设置时声明了一个区域,私有端点就可以使用 In-Region Routing。发往 us.openrouter.ai 或 eu.openrouter.ai 的请求随后会路由到该区域内你的部署。In-Region Routing 指南列出了支持的提供商。
  • 你的提供商密钥必须保存在每个调用该端点的工作区的 BYOK 下,设置期间的测试请求也需要它在那里。
  • 默认情况下,每个组织最多可以有 10 个私有端点,仍在设置中的端点也计入该限制。

The Blueprint step's data region and Zero Data Retention choices, with United States (us.openrouter.ai) and zero data retention selected, above the optional prompt price field.

开始使用

Private Endpoints 是 Enterprise 计划的一项附加功能。请让你的客户代表为你的组织启用它,或者与团队联系。

启用后,组织管理员可以从你账户中的 Private Endpoints 页面添加你的第一个端点,或者使用 Management API 密钥通过 Private Endpoints API 添加。

阅读文档了解更多信息。

来源:OpenRouter Blog · openrouter.ai