OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与发布了一份由 30 家机构、58 位作者共同撰写的多利益相关方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者与公民社会也可据此评估 AI 开发过程。
#安全/对齐
OpenAI NewsAI 评分3434
OpenAI NewsAI 评分4242 OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束的测试环境
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向安全约束下的强化学习智能体评测，提供相应环境和工具支持。
OpenAI News精选AI 评分6060 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何影响模型行为，也暴露了标注偏好与研究者预期的偏差。
OpenAI NewsAI 评分3636 OpenAI 提出 UAR 指标，评估神经网络抵御未见对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否可靠抵御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness），可衡量单一模型面对未预期攻击时的鲁棒性。该方法同时指出，需要在更多样化的未见攻击范围内衡量模型表现。
OpenAI NewsAI 评分3434 OpenAI 为何认为负责任 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即用于提升 AI 安全规范长期行业合作可能性的策略：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能引发集体行动问题，导致 AI 公司对安全投入不足。
OpenAI NewsAI 评分4242 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发布论文指出，长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在涉及真实人类时能够奏效。论文认为，要让先进 AI 系统与人类价值观正确对齐，必须解决人类理性、情绪与偏见等心理学层面的诸多不确定性，OpenAI 计划全职招聘社会科学家推进这一方向。
OpenAI NewsAI 评分3636 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出一种名为 iterated amplification 的 AI 安全技术，通过将复杂任务分解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该想法仍处于早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分3838 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类判断胜负。该方法旨在借助辩论提升 AI 系统的安全性。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意利用的可能路径与防范思路，可作为 AI 安全治理早期讨论的参照。
OpenAI NewsAI 评分3838 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一种通过偶发人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分4242 OpenAI 造出多尺度视角下稳定欺骗神经网络的对抗样本
OpenAI 造出能从不同尺度和视角稳定欺骗神经网络分类器的对抗图像，直接挑战了上周"自动驾驶汽车因多尺度、多角度取像而难以被恶意欺骗"的说法。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类指出两种候选行为中哪一个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类手写目标函数，因为用简单代理替代复杂目标或把复杂目标写偏一点，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。
OpenAI NewsAI 评分3838 OpenAI 如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于给机器看的视错觉。OpenAI 展示了对抗样本如何跨不同媒介生效，并讨论了为何防御这类攻击十分困难。
OpenAI NewsAI 评分4242 OpenAI 参与合著 Google Brain 主导的 AI 安全论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 研究人员共同合著了由 Google Brain 主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。