跳到正文
Wired · AI· Matt Burgess·· 2 小时前精选AI 评分76

Wired 调查:400 多个伪装成日常应用的 AI 应用暗藏性虐待深度伪造功能

Hundreds of Mundane AI Apps Are Hiding Sexually Abusive Deepfake Features

AI 导读

Wired 调查发现,一个由 400 多个关联域名和应用组成的网络以宠物画像、语言学习、AI 健身教练等日常服务为伪装,在特定条件下加载可生成露骨 AI 性图像和视频的网页界面,其中包含“bedroom rape”“threatening knife”等场景模板。

推荐理由

调查还原了一个伪装成日常应用的深度伪造网络如何绕过应用商店审核与广告审核,并给出平台处置前后的规模数据。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

乍看之下,这个自称“宠物肖像”的应用 Viefur 似乎只是又一个 AI 垃圾内容生成器。使用应用内出售的数字金币——约 4 美元可购买 130 枚金币——宠物照片就能被转换成“拟人化肖像”,让动物穿上“人类服装”并置入离奇的场景中。比如一只穿着沙滩短裤、戴着墨镜、懒洋洋躺在游泳池里的仓鼠,或是一只穿着夏威夷衬衫、用椰子喝饮料的猫。

这一切都是幌子,掩盖的似乎是该应用的真实目的:制作带有性虐待内容的深度伪造图像。

《连线》杂志的一项调查发现,该应用属于一个由 400 多个相互关联的域名和应用组成的网络,这些应用与 Viefur 一样,往往自称是日常服务——比如语言教学或 AI 健身教练。然而,在某些条件下访问时,该网络中的应用会悄悄加载一个网页界面,允许利用用户上传的照片生成露骨的 AI 色情图像和视频。这些应用包含诸如“卧室强奸”和“持刀威胁”之类的 AI 场景,其中一名男子将刀架在女子的脖子上。

多名研究人员在调查了数千条包含露骨深度伪造内容的视频广告中的链接后,发现了这个隐藏在众目睽睽之下的网络,这些广告发布在 Meta 的 Facebook 和 Instagram 上。正如《连线》近几个月报道的那样,其中数百条广告包含AI 生成的儿童性虐待材料,包括真实儿童以及某欧洲王室成员的图像。这些广告触达了数万人,并已引发世界各地监管机构的调查。

在每一起案例中,这些广告都链接到 Apple 和 Google 应用商店中的欺骗性应用——让人们能够生成露骨图像,并使用 Apple Pay 和 Google Pay 付款。这些脱衣应用背后的网络似乎已经发布它们大约一年了,有时每周发布数十个。尽管 Google、Apple 和 Meta 表示它们执行不允许其平台上出现有害深度伪造内容的政策,情况依然如此。

根据对网络域名及这些服务运作方式的审查,《连线》调查的应用和域名似乎由中国开发者以及一家名为 KeLing Technology Limited 的香港注册实体运营。与该实体、应用及相关服务关联的电子邮件地址未回应《连线》的多次置评请求,但在被联系后,他们似乎删除了 KeLing Technology Limited 与这些深度伪造工具之间的公开关联。

“这是一个有组织、商业化运营的行动:一个运营者掌控着数百个一次性应用和域名,通过伪装通过应用商店审核,并以虚假付款人名义通过数万条 Meta 广告进行推广,”非营利组织 AI Forensics 的首席研究员 Paul Bouchaud 说,他调查了这个网络。“他们不指望执法能跟上,而到目前为止也确实没有。”

隐藏行为

下载该深度伪造网络中的任意一款应用,你可能会看到与宣传完全一致的内容——比如一款制作 AI 宠物图片的应用。但研究人员发现,在幕后,这些应用正在悄悄判断是展示这些无害内容,还是加载一个显示露骨深度伪造内容的网页界面。

“每次下载应用时,都会向服务器发起一次调用,携带一些信息,比如用户来自哪里、语言、某个唯一标识符,然后服务器回复是否展示其露骨版本或非露骨版本,”Bouchaud 解释道,他对这些应用及相关网站的代码进行了逆向工程。他们表示,并没有明确的清单说明为什么某个用户可能会被展示应用的露骨版本,但一个触发因素似乎是在点击 Meta 平台上的相关广告后下载该应用。

与这些应用关联的网站揭示了该网络的秘密及其运作规模。打开其中一个应用的网站,很可能只会显示全黑屏幕,没有任何内容。唯一明显的变化是 URL 更新为包含“risk”一词。但这些网站托管着隐藏的露骨深度伪造层,可以在每个应用中加载。

这个网页界面包含数十个色情深度伪造视频和图片模板——用户可以上传人物图片,将其添加到性场景中。该界面允许购买“钻石”来生成图片,并提供指向其他社交媒体账号的链接,用户可以通过这些账号联系开发者提出问题或投诉。

网站代码中还隐藏着关于整个网络的细节。研究人员表示,一个可以轻易解包的 JavaScript 捆绑包包含开发者创建的所有域名和应用列表——包括应用包详情、加密密钥、Facebook 广告追踪器等。

“它们包含这份庞大的配置列表,列出了其他域名及不同的加密密钥,”安全公司 Infoblox 的专职威胁研究员 Maël Le Touz 说,他识别出了近 500 个关联域名。“它们运行相同的代码,并且彼此相互引用。”

Bouchaud 对域名注册时间的分析发现,这些应用大约在 2025 年底开始出现,并在今年春季出现激增。这位研究人员表示,在某一时期,每周约有 30 个 nudify 应用网站被注册,9 月份有 27 个在 Google Play Store 上活跃。Bouchaud 的研究称,这些应用的总下载量超过 35 万次,许多被评为适合所有年龄段。

其中最受欢迎的应用之一名为 DiffAI,创建于 2025 年 12 月,已从 Play Store 下载超过 10 万次。Google Play Store 上的一条用户评论写道:“此应用包含用于制作 CSAM 和其他类型色情材料的模板。它不进行任何年龄验证。”

在 WIRED 就这一网络联系 Google 前不久,DiffAI 已从 Play Store 下架。Google 未回应 WIRED 的置评请求,不过在被联系之前,它已经下架了大多数应用。(该深度伪造网络的部分内容曾于 9 月被丹麦记者报道。)

同样,在 WIRED 就相关活动询问苹果并分享关联域名后,苹果从其 App Store 下架了 19 款应用,包括宠物照片应用 Viefur。“我们将 App Store 设计为用户安全可信的场所,nudification 应用和其他色情内容被严格禁止,”苹果发言人 Adam Dema 表示。

“We review every app before it’s published, and these apps complied with our rules when we reviewed them,” Dema says. “After approval, their developers changed the website the app pulls its content from, replacing what we approved with pornographic content, and promoted it through pornographic ads hosted on a third-party platform.” The company says it has suspended tens of thousands of apps for using these “bait-and-switch” tactics over the last year and recently updated its app store rules to further restrict “nudify” tools.

Chinese Origins

Central to the “nudify” network appears to be a host of Chinese developers whose identities seem to have been intentionally hidden. “It’s using exclusive Chinese hosting, the code is written in Chinese and has a lot of comments in Chinese,” Le Touz says, noting explicit videos in ads posted to Meta’s platforms promoting the apps contained watermarks from Chinese-language video editing software.

The apps and domains across the network have often used generic privacy policies, free email addresses from Gmail or Outlook, and obscure developer names as part of their alleged efforts to hide their connections. Ads for the apps posted on Meta’s platforms have also used apparently false names—such as Draftmondcreldbro Duhustepre and Swaldmungsha Glasirdcroldshold—and pages with no followers. Since the start of this year, Bouchaud’s research has found tens of thousands of explicit deepfake ads linked to the network—often using similar language in their advertising copy—on Meta’s platforms.

“These ads violate not just one, but several of Meta’s policies,” says Katie Paul, the director of the Tech Transparency Project, who first uncovered the ads showing deepfake explicit depictions of minors. “There is no question about what you are seeing, what the app is advertising,” she says. Paul says tech companies need to answer questions about where money generated from the apps goes and how those behind the nudification apps and services constantly seem to bypass their content moderation and safety systems.

KeLing Technology Limited appears to be a significant part of the operation. While the company’s website is little more than a shell, its name was listed as the contact details of the first website registered in the network. This website’s brand name also appeared as part of the contact details within the explicit deepfake template that was used in the apps. Bouchaud also identified an administration login page linked to the explicit deepfake interface that mentions “Keling.” And email addresses using the company’s domain appeared on at least one app that have been removed from app stores.

Towards the end of September, a notification sent to users of the explicit deepfake interface announced that a new AI model could be used—the model was called Veyra, with a tagline in the apps of “More real. More natural. More wild.” The homepage of a website called Veyra AI listed its contact email as a KeLing Technology address.

When WIRED contacted KeLing email addresses, plus some of those listed in apps privacy policies, we received no response. However, after WIRED reached out, someone renamed some of the associated online social media channels, removed KeLing email addresses from the AI Veyra website, and removed the KeLing Technology Limited address from the first registered website.

Meta 表示,在 KeLing Technology Limited 未能“遵守停止令”后,已于 2025 年禁止其投放广告。(Meta 以法律原因为由,拒绝向 WIRED 提供该停止令。)“我们对推广脱衣应用有严格规定,并积极采取行动,防止此类内容出现在我们的服务中,”Meta 发言人说。Meta 表示,尽管 KeLing Technology Limited 一直试图通过其他方式投放广告,但一旦发现相关广告,就会采取行动。

在 WIRED 与 Meta 分享这 400 多个域名后,该发言人表示,他们已分享了与这些域名关联的 3,000 多条广告,其中三分之二已从其系统中移除。Meta 随后告诉 WIRED,它已对 11,600 个广告账户、4,700 多个商业主页、5,200 名用户以及 15,000 个与这些域名关联的页面采取了行动,并阻止了 209 个应用在其平台上投放广告。

“这些广告背后的犯罪分子采取越来越具有欺骗性的手段来逃避检测——隐藏在虚假姓名和身份背后,投放看似无害的广告,有时还链接到 Google 和 Apple 的应用商店,广告的真实意图只有在点击后才会显露,”该发言人说。

在 WIRED 完成这篇报道时,类似的广告和应用仍在这些科技平台上继续发布。

来源:Wired · AI · wired.com