OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，涵盖安全评估、外部红队测试以及 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解该模型的安全工作构成。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
81 条精选近 30 天 12 条共收录 393 条
更新
精选归档 · 第 4 页
OpenAI News精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：原文给出了水印的配置参数、检测器训练流程与已知局限，读者可据此判断该方案在自家生成链路中的落地条件。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用，并可与 Gemma 2 27B 搭配做辅助生成，官方称可获得最高 3 倍加速且不损失质量。
推荐理由：Gemma 2 新增 2B 小模型与安全分类器、可解释性工具，读者可据此判断端侧部署与内容审核的可用选项。
OpenAI News精选AI 评分6262 OpenAI 封禁与俄罗斯相关操作“Bad Grammar”关联的账号
OpenAI 封禁了一批与一项此前未报告的俄罗斯来源操作相关的账号，该操作被其命名为“Bad Grammar”。这些账号利用 AI 生成英语和俄语的 Telegram 评论，涉及乌克兰、摩尔多瓦、波罗的海地区及美国政治话题。
推荐理由：OpenAI 披露一起此前未报告的俄罗斯相关账号操作，可了解平台如何界定并处置这类滥用行为。
OpenAI News精选AI 评分6262 OpenAI 称已阻断与国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取，具体处置对象与措施暂无法确认。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源 llm-swarm 工具，基于 TGI 和 vLLM 在 Slurm 集群上做可扩展的合成数据生成。
推荐理由：Hugging Face 公开了用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可据此复现或改造对齐流程。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分8080 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分6565 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理过程（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督不仅提升了性能，还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解这一训练思路及其对齐收益。
Hugging Face Blog精选AI 评分6060 Hugging Face 公布 safetensors 安全审计结果并推动其成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计，未发现可导致任意代码执行的关键安全漏洞，并已修复规范格式不精确和允许 polyglot 文件的验证缺失问题。
推荐理由：Hugging Face 联合 EleutherAI、Stability AI 公开 safetensors 外部安全审计结果，读者可了解该格式为何被推向默认。
OpenAI News精选AI 评分6262 OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布《Planning for AGI and beyond》，阐述其使命是确保通用人工智能（比人类更聪明的 AI 系统）造福全人类。
推荐理由：OpenAI 官方阐述 AGI 使命与长期规划，可了解其对通用人工智能安全与治理的基本立场。
OpenAI News精选AI 评分6060 OpenAI 谈 AI 系统应如何表现以及由谁决定
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的，并介绍其改进该行为的计划，包括允许更多用户自定义，以及在相关决策中引入更多公众意见。
推荐理由：OpenAI 说明 ChatGPT 行为如何被塑造，并给出用户自定义与公众参与决策的改进方向。
OpenAI News精选AI 评分6060 OpenAI 发布识别 AI 生成文本的分类器
OpenAI 发布一款经过训练的分类器，用于区分 AI 生成文本与人类写作文本。
推荐理由：OpenAI 官方发布区分 AI 与人类写作的分类器，可了解其早期检测思路与官方定位。
Hugging Face Blog精选AI 评分6262 Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF
Hugging Face 博客梳理了让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
推荐理由：梳理 IFT、SFT、CoT 与 RLHF 在对话智能体中的作用，并对比多家早期聊天机器人的训练与评测差异。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，规模对批评写作的提升大于对摘要写作的提升。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供了一种可参考的思路。
OpenAI News精选AI 评分8080 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、毒性更低，采用其对齐研究中的技术并引入人类参与训练。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 官方说明 InstructGPT 的指令跟随与对齐改进，并交代其已成为 API 默认模型。
OpenAI News精选AI 评分6060 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何影响模型行为，也暴露了标注偏好与研究者预期的偏差。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意利用的可能路径与防范思路，可作为 AI 安全治理早期讨论的参照。