跳到正文
Claude Blog·· 23 小时前精选AI 评分60

Anthropic 介绍 Claude Duet 的安全、隐私与安全设计

Claude Duet Safety, Privacy, and Security

AI 导读

Anthropic 介绍研究预览中的云端智能体 Claude Duet 的安全设计,它在执行发送敏感消息、付款或删除等操作前会展示动作、目标与内容并等待用户批准,另有独立于模型的自动检查判断动作是否符合意图。

推荐理由

官方披露 Claude Duet 在审批、敏感信息分类与凭据隔离上的具体设计,可了解云端智能体的安全边界如何落地。

正文 · AI 翻译

Claude Duet(在新标签页中打开) 是一个智能体,目前处于研究预览阶段,它使用基于云的计算机为你完成工作。它可以使用你选择连接到 Claude 的所有应用和服务,并且即使你关闭应用后它也会持续运行。它可以读取你的收件箱、起草回复、预订事项,并在你离开时运行例行任务。我们的团队在自己的账户上运行 Claude Duet,并且每天都在工作中使用它。

我们基于三项原则构建 Claude Duet,以指导该智能体的行为:

  1. 你的信息以及他人在你连接的应用中分享的内容都会得到谨慎处理,我们使用一个新的分类器在 Claude Duet 起草的消息发出前进行检查。
  2. 你始终掌控它代表你所做的事情。
  3. Claude Duet 永远不会看到你的密码、浏览器 cookie、登录令牌或其他凭据。

Claude Duet 是新的,但其背后的理念并非如此。2025 年,我们发布了安全可信智能体框架(在新标签页中打开),该框架将人置于控制之中,并将隐私和安全交互视为基本要求。此后,我们撰文阐述了为什么单一防御并不足够(在新标签页中打开),以及为什么模型内部的保护无法独立存在(在新标签页中打开)。我们还通过 Claude Managed Agents(在新标签页中打开) 构建并运营企业用于在生产环境中运行智能体的基础设施,而 Claude Duet 以同样的方式将凭据与智能体分离。它建立在这项工作之上,增加了代表你行动的智能体所需的保护措施。本文介绍了我们新增的内容以及仍在努力的方向。

你批准重要操作

一个在你离开时行动的智能体必须知道何时停下来请求许可再继续,并且要以恰当的频率这样做。在 Claude Duet 执行诸如发送可能敏感的消息、支付款项或删除任何内容等操作之前,它会向你显示操作、目标位置和内容,包括每一位收件人。然后它会等待你批准该操作。

每项操作都会同时运行一个独立的自动化检查,该检查基于Claude Code 的自动模式分类器(在新标签页中打开)并针对 Claude Duet 进行了扩展。它会评估该操作是否符合你的意图。该检查在执行工作的模型之外运行,因此页面中隐藏的指令无法影响结果。

有些操作即使你批准也仍然禁止,例如交易证券、银行操作(如在账户之间转移资金)以及访问他人的账户。还有一些步骤不受“不要再问我”规则覆盖,无论你批准过多少次,例如支付或转账、删除订单或创建账户。在你离开时运行的例行任务也享有同样的保护措施。

我们花了很多时间校准 Claude Duet 请求批准的频率。批准疲劳是一个严重问题,因为过多的请求会让人养成随手点过的习惯,有时并未充分考虑。我们将继续随时间调整这一校准。

对于购买,Claude Duet 使用来自 Stripe 的 Link 等钱包的一次性卡进行支付,且仅限于该商户和金额。你会看到商品和总额,并在你的 Link 应用中批准购买。你的真实卡号不会与 Claude Duet 或商户共享。

a graphic showing the approval flow for Claude Duet
图 1. 审批流程:审批卡片和独立的检查位于模型之外,因此智能体读取的任何内容都无法回答该卡片。

您的信息会被谨慎处理

一个读取您的电子邮件并代您发送消息的智能体,会不断判断不同类型的信息应发往何处。如果您让 Claude Duet 向团队发送每周回顾,它应只包含团队中每个人本就可访问的内容,绝不包含私人细节,例如您的绩效评估对话。

为解决这一问题,我们构建了一个新的安全分类器,它与主模型分开运行,检查 Claude Duet 即将发送的每条消息是否包含潜在的敏感信息。我们将这些信息分为两个层级:

  • 绝不分享:我们对登录凭证、完整的银行卡号和银行账号以及政府身份证件号码等信息给予最高级别的敏感保护。Claude Duet 被指示绝不与任何人分享这些信息,即使您提出要求。
  • 需经同意才能分享:对于其他私人信息,例如健康或财务信息,只有在您明确批准后,Claude Duet 才会分享。您自己的请求即视为同意,因此“给我的牙医发条消息说说我的牙痛”通常不需要额外批准。
A graphic that shows where your information can go with Claude Duet
图 2. 您的信息可以流向何处:在发送任何内容之前,检查会权衡信息的敏感程度以及您是否已给予同意。

如果 Claude Duet 因上述任一原因被阻止,它可以决定重写消息、去掉敏感信息,然后交给您审批。

Claude Duet 仍处于研究预览阶段,这些防护措施偶尔会遗漏某些内容或误标一条无害的消息。因此,它们与上述审批机制协同工作,这些机制旨在让您掌控 Claude Duet 代您发送的内容。随着我们对人们如何使用 Claude Duet 的了解不断深入,我们预计会继续迭代我们的分类器。

您可以查看任务和已连接的应用

您可以在任务列表中看到 Claude Duet 已完成和正在做的事情,每个任务都有自己的页面,并且您可以在任务进行中引导它。Claude Duet 会保留您的对话历史和记忆,以便在任务之间延续上下文,直到您删除或重置历史记录。删除您的账户会清除 Claude Duet 存储的所有内容。

A screengrab of what a Claude Duet task list looks like

您已连接到 Claude 的应用会延续到 Claude Duet,在一处关闭某个应用会在两处同时关闭。断开某个应用的连接会从那一刻起停止新的访问,但 Claude Duet 已从该应用学到的内容会保留,直到您重置其记忆——您可以随时从该应用的设置中执行此操作。Claude Duet 还会使用您 Claude 账户中的记忆,因此 Claude 从您早期聊天中记住的细节是可见的。

凭证和浏览器与模型隔离

Claude Duet 永远看不到您的密码、浏览器 cookie 或已连接应用的登录令牌,也无法将它们保存到记忆中。它们只会经过模型无法访问的独立机器,而管理其行为的审批和安全检查也在那里运行。

密码

当网站要求输入密码时,你在 Claude 应用内的表单中输入密码。该表单会用一次性密钥对其进行加密,该密钥仅存在于我们的安全云浏览器机器上,且仅用于这一次。它将加密后的密码原封不动地传递给浏览器,由浏览器将其输入到网站中。模型看不到密码,也无法保存或重复使用密码。很快你还可以使用 1Password 登录;Claude Duet 会请求凭据,你将在 1Password 中批准该请求,凭据将直接发送到浏览器,而不经过模型。

替你登录的智能体会从两个方面改变网络钓鱼的形态。一方面,Claude Duet 不为你持有凭据,因此无法被钓鱼获取密码,也没有任何隐藏指令能让它泄露它并不拥有的秘密。另一方面,登录表单本身就是一个目标,因为任何要求输入密码的东西都可能被仿冒。因此,Claude Duet 的登录表单只会出现在应用内,且仅在你主动发起的登录过程中出现。它绝不会以链接、短信、电子邮件或 claude.ai 以外网站的形式出现。如果有任何看起来像 Claude Duet 的东西在其他地方要求你输入密码,那它就不是合法的。

登录令牌

当 Claude Duet 在已连接的应用中工作时,它遵循我们的 Claude Managed Agents 设计(在新标签页中打开),使凭据始终处于智能体工作范围之外。智能体代表你使用的凭据(例如用于已连接服务的登录令牌)绝不会进入智能体工作的机器。取而代之的是,该机器上放置一个凭据占位符,而该机器外部的代理仅在发出请求时填入真实值。

浏览器

Claude Duet 中的浏览器运行在云端其专属的虚拟机中,与模型以及智能体工作所用的云计算机相互隔离。智能体仅通过一组固定命令来驱动浏览器:打开此页面、点击此处、输入此内容。网站运行的任何内容都留在浏览器机器上(在新标签页中打开)。网站的代码和 Cookie 不会进入 Claude Duet 的内存或你已连接的应用,智能体的任何命令也无法从浏览器中读取 Cookie。返回的是页面的文本和下载内容,因为智能体必须读取它们才能完成工作。这就是为什么存在其他检查,也是为什么 Claude Duet 还使用了我们在浏览器使用研究(在新标签页中打开)中描述的提示注入防护措施。它通过浏览器上传的文件会接受与其消息相同的敏感信息检查。

a graphic that show what goes on Claude's computer and what stays on yours
图 3. 浏览器边界:固定命令传出,页面文本返回,而网站的代码、Cookie 和下载内容留在浏览器机器上。

Claude Duet 还被设计为能表明自己是智能体。目前,其网络浏览器发送的请求包含一个独特的 User-Agent 标头,并且我们公布其浏览时使用的公共 IP 地址,以便网站能够识别它并决定如何处理它。在发布之前,我们还联系了几家大型网站,给它们提供了阻止 Claude Duet 访问其网站的选项,其中一些选择了阻止。随着我们从研究预览中学习,我们将继续改进 Claude Duet 表明自身身份的方式。

Graphic showing the credential path for passwords
图 4. 凭据路径:密码在你的手机上加密,仅在浏览器机器上解密,且从不经过模型。

我们如何测试 Claude Duet

测试早在研究预览之前就已开始,并持续至今。我们的保障团队基于常规形态的任务构建了评估,每项任务都有三个变体:一个无害版本、一个注入了指令的版本,以及一个诱使智能体做出超出要求行为的版本。这些评估与来自真实使用的影子流量并行运行。

红队进一步测试了 Claude Duet 是否会泄露信息、未经批准就采取行动,或遵循恶意提示。我们为整个系统构建了威胁模型,涵盖它所触及的各个代码仓库和信任边界。一家外部渗透测试公司在可访问我们源代码的情况下对 Claude Duet 进行了测试,而一项涵盖云浏览器和登录表单的后续合作正在进行中。每项新的凭据功能在向任何人发布之前,都会在隔离环境中接受红队测试。

Claude Duet 也在 Anthropic 公开漏洞赏金计划的范围内,该计划奖励有效的报告,并根据我们的负责任披露政策为善意研究提供安全港。如果你发现安全漏洞,我们希望听到你的声音:请通过 HackerOne(在新标签页中打开) 上的 Anthropic 漏洞赏金计划进行报告。

与你共同构建

我们以研究预览的形式发布 Claude Duet,是因为我们想了解你在个人智能体中看重什么,包括你希望接下来看到哪些保护措施和控制项。本文描述的部分内容仍在变化中:它多久请求一次批准、你如何登录,以及敏感信息检查在区分私密信息与无害信息方面的准确程度。用平实的语言告诉 Claude Duet 你希望看到什么或出了什么问题,它就会为我们的团队提交一份报告。

来源:Claude Blog · claude.com