OpenAI 推出 Trusted Access for Cyber 可信访问框架
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问范围的同时加强对滥用的防护。
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问范围的同时加强对滥用的防护。
Google 宣布与 Included Health 合作,待 IRB 批准后启动一项全国性前瞻性随机对照研究,在真实虚拟护理工作流中评估对话 AI 的表现。
推荐理由:Google 与 Included Health 合作开展全国性随机对照研究,读者可了解医疗对话 AI 从模拟走向真实临床的评估路径。
OpenAI 封禁了一批与代号 No Bell 行动相关的账号,该行动此前未被报道,疑似源自俄罗斯,利用 AI 生成针对美国及其盟友的批评内容,面向非洲受众传播。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号利用 AI 对印尼交友用户实施诈骗,包括翻译和互动。该行动代号“Date Bait”。
OpenAI 封禁了一个与中国执法相关人员关联的账号,该账号利用 AI 策划影响力活动、骚扰和网络行动。该事件被 OpenAI 归入“Cyber Special Operations”类别。
OpenAI 封禁了一批疑似中国来源的账号,这些账号利用 AI 研究美国人员、地点以及社会工程学手法。
OpenAI 宣布封禁一批利用 AI 支撑恋爱诈骗流程的账号,涉及外联、翻译、与受害者互动以及投资诈骗诱饵等环节。
OpenAI 封禁了一批与 Rybar 网络相关、部分可能源自俄罗斯的账号,这些账号利用 AI 在网站和社交平台上开展多语言影响力活动。该行动代号为 "Fish Food"。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号用 AI 冒充追损服务、律所和执法机构,专门针对诈骗受害者行骗。该行动代号 "False Witness"。
OpenAI 封禁了一批与代号“Trolling Stone”行动相关的账号,该行动此前未被公开报道。这些账号利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论内容。
OpenAI 开放 EMEA Youth & Wellbeing Grant 申请,该项目总额 50 万欧元,用于资助非政府组织和研究人员,推进 AI 时代的青年安全与福祉。
OpenAI 说明了 AI 智能体打开链接时如何保护用户数据,通过内置防护机制防止基于 URL 的数据外泄和提示词注入。
ChatGPT 正在推出年龄预测功能,用于判断账号用户是否年满 18 岁,并对青少年账号应用相应保护措施。OpenAI 表示该功能会随时间推移持续优化准确性。
Hugging Face 发布 8B 参数安全防护模型 AprielGuard,可检测 16 类安全风险及提示注入、越狱、思维链污染、记忆投毒、多智能体攻击等对抗攻击,并覆盖工具调用与推理轨迹等智能体工作流。模型提供推理与非推理两种模式,兼顾可解释分类与低延迟生产部署。
OpenAI 正在用强化学习训练的自动化红队加固 ChatGPT Atlas,抵御提示词注入攻击。这一发现与修补的循环有助于尽早识别新型攻击手法,并在 AI 智能体能力增强的同时强化浏览器智能体的防御。
OpenAI 推出针对思维链可监控性的新框架与评估套件,覆盖 24 种环境下的 13 项评估。结果显示,监控模型内部推理远比仅监控输出更有效,为 AI 系统能力提升后的可扩展控制提供了可行路径。
OpenAI 更新 Model Spec,新增 Under-18 Principles,规定 ChatGPT 应基于发展科学为青少年提供安全、适龄的引导。此次更新强化了防护栏,明确了模型在更高风险情境下的预期行为,并延续其在 ChatGPT 青少年安全方面的整体工作。
Google DeepMind 发布 Gemma Scope 2,一套面向 Gemma 3 全系列(270M 至 27B 参数)的开源可解释性工具。该套件结合稀疏自编码器(SAEs)与 transcoders,覆盖模型每一层,并新增 skip-transcoders、跨层 transcoders 及针对聊天版本的越狱、拒答和思维链忠实度分析工具。
推荐理由:Gemma Scope 2 覆盖 Gemma 3 全系列并公开工具与演示,读者可了解可解释性工具在模型安全审计上的最新进展。
OpenAI 推出一个真实世界评估框架,用于衡量 AI 加速湿实验室生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案,同时探讨 AI 辅助实验的潜力与风险。
Google DeepMind 宣布与英国 AI Security Institute(AISI)签署新谅解备忘录,将合作从模型测试扩展到基础安全研究。双方将共享专有模型、数据与思路,并围绕 AI 推理过程监控(CoT)、社会情感错位及 AI 对经济系统的影响展开联合研究。Google DeepMind 自 AISI 2023 年 11 月成立起便与其合作测试其最强模型。
OpenAI 发布 GPT-5 系列的最新模型家族 GPT-5.2,并更新了 GPT-5 系统卡。该系列模型的安全缓解方案与 GPT-5 系统卡和 GPT-5.1 系统卡中描述的基本一致。GPT-5.2 模型同样在多样化数据集上训练,包括互联网公开信息、与第三方合作获取的信息,以及用户或人类训练师与研究人员提供或生成的信息。
推荐理由:OpenAI 公布 GPT-5.2 系统卡更新,说明其安全缓解措施与 GPT-5、GPT-5.1 基本一致,可据此了解该系列的安全策略延续。
Google 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私(DP)聚类与 DP 关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且 LLM 只接触匿名关键词、不接触原始对话。与基于 CLIO 的非隐私基线 Simple-CLIO 相比,其隐私摘要在一项评测中最高有 70% 的概率被 LLM 评估器偏好。隐私预算越紧,主题覆盖度越低,但摘要更简洁聚焦。
OpenAI 正随 AI 模型网络安全能力增强而投入更强的防护措施与防御能力,并说明其如何评估风险、限制滥用,以及与安全社区合作强化网络韧性。
OpenAI 研究人员正在测试一种名为"confessions"的方法,训练模型在犯错或行为不当时主动承认,以提升 AI 的诚实性、透明度以及模型输出的可信度。
OpenAI 将提供最高 200 万美元资助,用于 AI 与心理健康交叉领域的研究。该项目支持研究现实世界中的风险、收益与应用,以提升安全性和福祉。
OpenAI 披露一起 Mixpanel 安全事件,涉及有限的 API 分析数据,但 API 内容、凭证和支付信息均未泄露。OpenAI 同时说明了事件经过及正在采取的用户保护措施。
OpenAI 与独立专家合作评估前沿 AI 系统,通过第三方测试强化安全保障、验证防护措施,并提升模型能力与风险评估的透明度。
OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明为该模型部署的安全措施。系统卡涵盖模型层缓解手段,包括针对有害任务和提示注入的专门安全训练,以及产品层缓解手段,如智能体沙箱和可配置网络访问。
推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其针对提示注入与智能体沙箱的防护思路。
OpenAI 正在探索机制可解释性,以理解神经网络的推理过程。其提出的稀疏模型方法有望让 AI 系统更透明,并支持更安全、更可靠的行为。
OpenAI 正在反击《纽约时报》要求其交出 2000 万条私密 ChatGPT 对话的诉求,并加速推出新的安全与隐私保护措施以保护用户数据。
OpenAI 发布 GPT-5 系统卡增补,给出 GPT-5.1 Instant 和 GPT-5.1 Thinking 的更新安全指标。增补内容包含针对心理健康与情感依赖的新评估。
推荐理由:OpenAI 公布 GPT-5.1 两个版本的安全指标更新,新增心理健康与情感依赖评估,可了解其安全评测口径的变化。
OpenAI 发文解读提示词注入这一 AI 系统面临的前沿安全挑战,说明此类攻击的运作方式,并介绍 OpenAI 在推进相关研究、训练模型以及为用户构建防护措施方面的进展。
OpenAI 发布青少年安全蓝图,为负责任地构建 AI 提供路线图,涵盖安全防护、适龄设计与协作三方面。该蓝图旨在保护并赋能年轻人在线使用 AI。
OpenAI 推出 Aardvark,一款 AI 驱动的安全研究员,可自主发现、验证并协助修复软件漏洞,并支持规模化处理。该系统目前处于私有测试阶段,可通过报名参与早期测试。
推荐理由:OpenAI 官方披露智能体安全研究员 Aardvark 的定位与私有测试入口,可据此了解其自主发现并修复漏洞的能力方向。
Google Research 提出可证明隐私洞察(PPI),结合 LLM、差分隐私(DP)和可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 使用数据。
OpenAI 发布 gpt-oss-safeguard 技术报告,介绍 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开放权重推理模型。二者基于 gpt-oss 模型后训练,能依据给定策略进行推理并对内容打标,报告同时给出以原始 gpt-oss 模型为基线的安全评估结果。
OpenAI 发布 gpt-oss-safeguard,这是一组用于安全分类的开放权重推理模型,允许开发者应用并迭代自定义策略。
推荐理由:OpenAI 把安全分类做成可自行迭代策略的开放权重推理模型,开发者可据此评估自定义审核流程的落地方式。
Doppel 借助 GPT-5 和强化学习微调构建 AI 防御系统,用于拦截深度伪造与冒充攻击,将分析师工作量削减 80%,响应时间从数小时缩短至数分钟。
Hugging Face 发布博客提出“语音同意门”(voice consent gate),让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆,并提供了示例 Space 和配套代码。该方案由语言模型为每次授权生成一对全新句子,一句表达明确同意、一句提供语音多样性,从而把同意变成可追溯、可审计的系统前置条件。
OpenAI 发布 GPT-5 系统卡增补,说明 GPT-5 在处理敏感对话方面的改进,并新增情绪依赖、心理健康和抗越狱三项基准测试。