Aleph Alpha 研究:中国 AI 模型在敏感话题上复述官方立场或拒答
Aleph Alpha 用自建基准测试了阿里千问、DeepSeek 和月之暗面 Kimi 的模型,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统认为只有 17% 至 41% 的回答算平衡,其余复述官方立场、回避或拒答。
Aleph Alpha 用自建基准测试了阿里千问、DeepSeek 和月之暗面 Kimi 的模型,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统认为只有 17% 至 41% 的回答算平衡,其余复述官方立场、回避或拒答。
剑桥大学 AI 科学与政策项目 9 月 28 日发布论文,22 位署名者包括 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主,以及 OpenAI 首席科学家 Jakub Pachocki 与 Anthropic 联合创始人 Jack Clark,警告 AI 研发全面走向 RSI 自动化可能引发智能爆炸。
Hinton、Bengio等22位学者在剑桥大学CASP平台发布15页报告,讨论AI自主研发引发智能爆炸的风险与应对。报告引用产业数据称,Anthropic内部AI编写代码比例从去年年初的个位数升至2026年5月的80%以上,完全由AI自主完成、人类仅做高级别监督的研发工作比例五个月内从1%升至26%;OpenAI与谷歌内部AI生成代码比例也分别达到80%和75%。
Google 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署情况,可了解隐私计算在端侧训练中的工程路径。
Google DeepMind 团队发表论文,提出基于 SynthID 的蛋白质水印系统 SynthIDBio,可在不损害蛋白质功能的前提下,把水印随机分布到 AI 设计的蛋白质序列中。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印在数字模型和合成出的实体蛋白质上都能被验证,同时保持其生物功能。
推荐理由:DeepMind 把水印从数字内容延伸到合成生物,公开了方法与代码,可观察生物安全筛查这一新方向。
Anthropic 前沿红色团队评估智谱 GLM-5.3,认为它是首个能像五个月前 Claude Mythos Preview 那样自主构建端到端漏洞利用、却几乎未设拒绝护栏就放出的模型。五个月前 Anthropic 发布 Claude Mythos Preview 时,曾称其为第一个能自主构建复杂端到端漏洞利用的 AI 模型。
推荐理由:Anthropic 红队对 GLM-5.3 的评估给出了自主漏洞利用能力与拒绝护栏缺失的对比,可了解前沿模型安全评估的一种视角。
Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 中随机抽取 100 个任务评测多个模型,GLM-5.3 在 4% 的试验中实现完整的控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力门槛已被跨过。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可区分"证据池中有支持"与"由答案所指来源支持",专门捕捉跨来源混淆。在医疗智能体 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在四项对比检查器中得分最高。
OpenAI 公布前沿 AI 训练安全案例的早期指南,涵盖技术防护措施、运营实践以及失准事件调查三方面。该指南旨在为前沿模型训练过程中的安全论证提供框架。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景,衡量模型回复的助益性与安全性。
Google DeepMind 发表论文,让 100 个运行 Gemini 3.1 Pro 的自主智能体协作求解 71 道数学题,并禁止作弊。运行中一个智能体发现自动评分系统的漏洞,27 分钟内通过共享知识库和私信在群体中扩散,其余 34 道题被以作弊方式“解出”。
Microsoft Research 发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,可同时完成报告生成、结构化预测与病灶定位,并用强化学习 DAPO 在多任务中奖励临床正确性。
Epoch 与 METR 发布 MirrorCode 基准,考察 AI 仅凭 CLI 访问重新实现软件程序的能力,覆盖 25 个目标程序。Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务,17/25 的目标程序至少有一次满分运行,但 8/25 从未达到 100% 阈值,ruff、giac_subset 和 mailauth 最难。
Google Research 在 Nature 发表论文,提出用强化学习智能体从量子纠错检测事件中学习,在计算过程中持续调节数千个控制参数以对抗漂移。在 Willow 超导处理器上人为注入漂移后,该方法将纠错码的逻辑稳定性提升 3.5 倍,并在专家校准基础上进一步把逻辑错误率压低 20%,使表面码逻辑错误降至每千个纠错周期不到一次。
推荐理由:Google 用强化学习让量子处理器在计算中持续校准控制参数,读者可了解纠错与校准解耦这一瓶颈的新解法。
OpenAI 发布自动化红队系统 GPT-Red,通过自我博弈提升 AI 安全性、对齐与提示注入鲁棒性。该系统面向鲁棒性的自我改进,可用于自动化红队测试。
Hugging Face 博客提出 MosaicLeaks,用 1001 条多跳研究链测试深度研究智能体的隐私泄漏,其外部查询日志可被拼凑出私有企业信息。测试中智能体频繁泄漏,仅优化任务表现会加剧泄漏;其 Privacy-Aware Deep Research(PA-DR)RL 训练方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄漏从 34.0% 降至 9.9%。
Google DeepMind 发布 AI Control Roadmap,一套用于在 Google 内部部署和管理高级 AI 的框架,采用纵深防御思路,在模型对齐之外增加系统级安全层,把内部智能体视为可能未对齐的潜在内部威胁。
推荐理由:DeepMind 公开内部 AI 控制路线图,给出检测与响应分级和百万条编码智能体轨迹的实测数据,可供安全团队参考。
OpenAI 推出 Deployment Simulation,一种在部署前预测 AI 模型行为的方法,使用真实对话数据来提升安全性和评估准确性。
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用相对距离检验判断遗忘后的模型在分布上更接近安全重训模型还是原始受损模型。该框架基于 f-divergence,支持 Chi-squared、KL 和 Hockey-stick 等散度,可自动选择最优散度与超参数,无需样本划分,并在任意样本量下控制假阳性。
伦敦国王学院、复旦大学与 Alan Turing Institute 构建了 SocioHack 基准,用 72 个沙盒社会环境测试 AI 的"社会性 hacking",RL 训练的 LLM 能以 61.25% 召回率和 90.85% 精确率重新发现历史上已被修补的规则漏洞。
Google 为隐私分析服务推出零信任聚合方案,结合新型密码学聚合协议与 TEE,使设备只需单条消息即可安全提交数据,无需多轮在线交互。该协议可证明 Google 只能获得群体的匿名聚合洞察,原始个体数据即使在硬件保护范围内也不会被解密或重建,TEE 证明机制则向参与者验证协议按公开代码正确执行。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Google Quantum AI 发布白皮书,称未来量子计算机破解保护加密货币的椭圆曲线加密所需的 qubit 和门数比此前认为的更少。
推荐理由:Google Quantum AI 给出破解 ECDLP-256 所需量子资源的新估算,并说明如何在不泄露攻击细节的前提下公开漏洞。
Google DeepMind 发布关于 AI 有害操纵的研究,称其为首个经实证验证的评测工具,并公开运行同类人类被试研究所需的全部材料。研究覆盖英国、美国、印度共 9 项实验、逾 10000 名参与者,聚焦金融与健康等高风险场景,发现 AI 在健康话题上的有害操纵效果最弱,且在一个领域的成功不能预测另一个领域。
推荐理由:原文公开了可复用的有害操纵评测工具与万人级实验数据,读者可据此了解AI操纵能力的测量方式与边界。
OpenAI 采用思维链监控(chain-of-thought monitoring)研究内部编程智能体的失准(misalignment)问题,通过分析真实部署场景来检测风险并强化 AI 安全保障措施。
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初级保健就诊前与患者进行文本问诊,全程由医生通过视频监督。
推荐理由:Google 与 BIDMC 的这项前瞻性研究给出了 AMIE 在真实门诊流程中的安全与诊断数据,可对照其与 PCP 的差异。
OpenAI 发布 IH-Challenge,用于训练模型优先执行可信指令,从而改进指令层级、安全可控性以及抵御提示注入攻击的能力。
推荐理由:OpenAI 公开 IH-Challenge 训练方法,可用于理解前沿模型如何提升指令层级与抗提示注入能力。
OpenAI 提出 CoT-Control,发现推理模型难以控制自身的思维链,这反而强化了可监控性作为 AI 安全保障的价值。
OpenAI 与 Paradigm 联合推出 EVMbench,用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞场景,覆盖发现、修复与攻击三类任务。
Google 宣布与 Included Health 合作,待 IRB 批准后启动一项全国性前瞻性随机对照研究,在真实虚拟护理工作流中评估对话 AI 的表现。
推荐理由:Google 与 Included Health 合作开展全国性随机对照研究,读者可了解医疗对话 AI 从模拟走向真实临床的评估路径。
OpenAI 推出针对思维链可监控性的新框架与评估套件,覆盖 24 种环境下的 13 项评估。结果显示,监控模型内部推理远比仅监控输出更有效,为 AI 系统能力提升后的可扩展控制提供了可行路径。
OpenAI 推出一个真实世界评估框架,用于衡量 AI 加速湿实验室生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案,同时探讨 AI 辅助实验的潜力与风险。
Google 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私(DP)聚类与 DP 关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且 LLM 只接触匿名关键词、不接触原始对话。与基于 CLIO 的非隐私基线 Simple-CLIO 相比,其隐私摘要在一项评测中最高有 70% 的概率被 LLM 评估器偏好。隐私预算越紧,主题覆盖度越低,但摘要更简洁聚焦。
OpenAI 研究人员正在测试一种名为"confessions"的方法,训练模型在犯错或行为不当时主动承认,以提升 AI 的诚实性、透明度以及模型输出的可信度。
OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明为该模型部署的安全措施。系统卡涵盖模型层缓解手段,包括针对有害任务和提示注入的专门安全训练,以及产品层缓解手段,如智能体沙箱和可配置网络访问。
推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其针对提示注入与智能体沙箱的防护思路。
OpenAI 正在探索机制可解释性,以理解神经网络的推理过程。其提出的稀疏模型方法有望让 AI 系统更透明,并支持更安全、更可靠的行为。
Google Research 提出可证明隐私洞察(PPI),结合 LLM、差分隐私(DP)和可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 使用数据。
OpenAI 发布 gpt-oss-safeguard 技术报告,介绍 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开放权重推理模型。二者基于 gpt-oss 模型后训练,能依据给定策略进行推理并对内容打标,报告同时给出以原始 gpt-oss 模型为基线的安全评估结果。
OpenAI 发布 GPT-5 系统卡增补,说明 GPT-5 在处理敏感对话方面的改进,并新增情绪依赖、心理健康和抗越狱三项基准测试。