OpenAI 封禁疑似中国来源账号：利用 AI 撰写监控工具方案、分析文档并调试代码
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 撰写监控工具推销方案、分析文档并调试代码。相关行动被命名为“同行评审”（Operation "Peer Review"）。
#安全/对齐
OpenAI NewsAI 评分4242 OpenAI NewsAI 评分4040 OpenAI 封禁朝鲜相关威胁行为者账号：AI 辅助入侵研究
OpenAI 封禁了可能与公开报道的朝鲜（DPRK）相关威胁行为者有关的账号，这些账号利用 AI 研究入侵工具、钓鱼、恶意软件及加密货币攻击目标。
OpenAI NewsAI 评分3939 OpenAI 封禁与伊朗影响力活动相关的账号
OpenAI 封禁了一批与伊朗有关联的账号，这些账号利用 AI 生成与 IUVM 和 STORM-2035 影响力活动相关的文章及社交帖子。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似朝鲜 IT 工作者欺诈招聘账号
OpenAI 封禁了一批可能被用于协助欺诈性就业计划的账号，该计划带有公开报道过的朝鲜相关 IT 工作者活动的特征。
OpenAI NewsAI 评分3838 OpenAI 封禁柬埔寨来源的 AI 虚假评论招聘诈骗账号
OpenAI 封禁了一批疑似来自柬埔寨的账号，这些账号利用 AI 翻译消息，实施虚假评论招聘诈骗，要求受害者支付费用。
OpenAI NewsAI 评分5050 OpenAI 封禁柬埔寨来源的 AI 杀猪盘账号
OpenAI 封禁了一批疑似来自柬埔寨的账号，这些账号利用 AI 翻译并生成恋爱与投资诈骗对话。此类"杀猪盘"骗局借助 AI 批量生成话术，OpenAI 已对相关账号采取封禁措施。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似中国来源的 AI 影响力运营账号
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 生成英文社交帖子和西班牙语文章。相关行动被命名为“Sponsored Discontent”。
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，涵盖安全评估、外部红队测试以及 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解该模型的安全工作构成。
OpenAI NewsAI 评分5252 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采取的多层防护措施，包括针对提示词工程与越狱的模型和产品层缓解，以及隐私与安全保护。文档还介绍了外部红队测试、安全评估，以及持续完善这些防护的后续工作。
OpenAI NewsAI 评分3333 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答时投入更多计算，以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face BlogAI 评分2222 Hugging Face 发文：AI 智能体已至，全自主智能体不应被开发
Hugging Face 发布分析文章指出，AI 智能体的风险随自主性等级上升而增加，建议不要开发能自行编写并执行代码的全自主智能体。文章按自主程度将智能体分为五级，从模型不影响程序流程的 Code ☆☆☆☆ 到模型自行编写并执行新代码的 Fully autonomous agent ★★★★，并认为半自主智能体在自主程度、可用任务和人类控制方式合适时，收益可能大于风险。
OpenAI NewsAI 评分5252 OpenAI 提出审议式对齐：用推理提升语言模型安全性
OpenAI 发布面向 o1 模型的新对齐策略“审议式对齐”，直接教模型安全规范并让其对这些规范进行推理。该策略的核心是借助模型的推理能力来提升安全性。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
OpenAI NewsAI 评分2121 OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测数据。
Mistral AIAI 评分5858 Mistral AI 发布内容审核 API
Mistral AI 发布新的内容审核 API，即其 Le Chat 审核服务所用的同一套接口，现开放给用户按自身应用和安全标准使用。该模型是一个 LLM 分类器，将文本输入分为 9 个类别，提供原始文本和对话内容两个端点，并针对对话场景分类最后一条消息。模型原生支持多语言，训练语言包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。
Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：原文给出了水印的配置参数、检测器训练流程与已知局限，读者可据此判断该方案在自家生成链路中的落地条件。
Hugging Face BlogAI 评分3838 Hugging Face 与 Protect AI 合作，为 ML 社区增强模型安全
Hugging Face 宣布与 Protect AI 合作，将 Guardian 作为第三方扫描器集成到其模型扫描套件中，用于检测 pickle 等序列化格式的任意代码执行漏洞。所有公开模型仓库在推送文件后将自动被 Guardian 扫描，无需用户操作。Hugging Face 表示目前已扫描数亿个文件，但由于平台有超过 100 万个模型仓库，扫描结果可能不会立即显示。
OpenAI NewsAI 评分2525 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手来保护隐私。
Hugging Face BlogAI 评分5050 Gradio 5 安全审计：Trail of Bits 发现的风险已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的全部安全风险已在 Gradio 5.0 发布前修复并通过验证。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 起草针对越南公众人物的滥用举报账号
OpenAI 封禁了一批利用 AI 起草滥用举报和投诉的账号，这些举报针对越南公众人物及平台。
OpenAI NewsAI 评分4040 OpenAI 封禁伊朗来源的 STORM-2035 账号：利用 AI 生成美英选举内容
OpenAI 封禁了一批伊朗来源的 STORM-2035 账号，这些账号利用 AI 生成美国和英国选举相关内容并发布到多个网站。
OpenAI NewsAI 评分4242 OpenAI 封禁与伊朗关联的 STORM-0817 账号
OpenAI 封禁了一批与伊朗关联的 STORM-0817 账号，这些账号利用 AI 调试 Android 恶意软件、抓取社交平台内容并翻译工具。
OpenAI NewsAI 评分3838 OpenAI 封禁利用其模型在 X 上发送赌博垃圾链接的账号
OpenAI 封禁了一批通过一家以色列初创公司访问其模型、用于生成对话并在 X 上发送赌博网站链接的账号。这些账号借助该初创公司调用 OpenAI 模型，批量生成内容并附带赌博站点链接进行传播。
OpenAI NewsAI 评分2525 OpenAI 封禁用 AI 伪造 ChatGPT“俄罗斯水军”报错信息的账号
OpenAI 封禁了一个疑似源自美国的账号，该账号利用 AI 生成虚假的 ChatGPT 报错信息，声称能检测“俄罗斯水军”活动。
OpenAI NewsAI 评分5050 OpenAI 封禁俄罗斯"Stop News"影响力账号
OpenAI 封禁了一批源自俄罗斯的"Stop News"账号，这些账号利用 AI 生成多语言文章和帖子，针对乌克兰及西方国家开展影响力活动。
OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 生成批评俄罗斯反腐基金会评论的账号
OpenAI 封禁了一批账号，这些账号使用 AI 生成针对一家俄罗斯反腐基金会及相关人物的批评评论。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 生成多语言影响力内容的“A2Z”账号网络
OpenAI 封禁了名为“A2Z”的账号网络，这些账号利用 AI 在多个平台生成涉及选举、乌克兰和政治的多语言影响力内容。
OpenAI NewsAI 评分4040 OpenAI 封禁与 CyberAv3ngers 关联的账号
OpenAI 封禁了一批疑似属于 CyberAv3ngers 的账号，这些账号利用 AI 研究工业控制系统、默认凭据和攻击目标。该组织被指与伊朗有关联。
OpenAI NewsAI 评分4040 OpenAI 封禁疑似中国关联黑客组织 SweetSpecter 账号
OpenAI 封禁了一批疑似属于中国关联黑客组织 SweetSpecter 的账号，该组织利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼攻击。
OpenAI NewsAI 评分3838 OpenAI 封禁卢旺达选举前用 AI 生成党派评论的账号
OpenAI 封禁了一批源自卢旺达的账号，这些账号在该国选举前使用 AI 生成党派性评论内容。
OpenAI NewsAI 评分1717 OpenAI 安全与安保实践更新
OpenAI 发布安全与安保实践更新。原文未披露具体措施、模型版本或数据细节。
OpenAI NewsAI 评分4242 Zico Kolter 加入 OpenAI 董事会
Zico Kolter 加入 OpenAI 董事会，并将同时加入安全与安保委员会。OpenAI 表示，此举旨在以 AI 安全与对齐领域的专业能力强化公司治理。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 token、2FA、commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化安全扫描。Enterprise Hub 用户还可使用 SAML 2.0 与 OIDC 协议的 SSO、Resource Groups 等高级控制。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用，并可与 Gemma 2 27B 搭配做辅助生成，官方称可获得最高 3 倍加速且不损失质量。
推荐理由：Gemma 2 新增 2B 小模型与安全分类器、可解释性工具，读者可据此判断端侧部署与内容审核的可用选项。
OpenAI NewsAI 评分4040 OpenAI 用规则奖励（RBRs）改进模型安全行为
OpenAI 开发并应用了基于规则奖励（RBRs）的新方法，让模型在无需大量人工数据采集的情况下对齐到安全行为。该方法旨在提升模型的安全表现，减少对人工标注数据的依赖。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，对人和机器都更可信。
OpenAI NewsAI 评分4040 OpenAI 与洛斯阿拉莫斯国家实验室宣布研究合作
OpenAI 与洛斯阿拉莫斯国家实验室达成研究合作，共同开发安全评估方法，用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face BlogAI 评分3636 Hugging Face 在 Dataset Hub 上用 Presidio 试验 PII 自动检测
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能，用户可查看数据集 PII 含量报告，以便在训练前决定是否进一步过滤。该功能面向含 PII 的标注数据集和大规模预训练数据集，后者虽经过滤仍可能残留少量敏感信息。数据集所有者也可用报告验证发布前的 PII 过滤流程。
OpenAI NewsAI 评分4242 OpenAI 用 GPT-4 训练 CriticGPT 以发现 GPT-4 的错误
OpenAI 推出基于 GPT-4 的 CriticGPT，用于对 ChatGPT 的回答撰写批评意见，帮助人类训练师在 RLHF 过程中发现错误。