OpenAI 提出基于预测奖励的强化学习新方法 RND
OpenAI 开发了 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境，首次在《蒙特祖玛的复仇》上超越人类平均表现。
全部 AI 动态
OpenAI NewsAI 评分3232
OpenAI NewsAI 评分3636 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出一种名为 iterated amplification 的 AI 安全技术，通过将复杂任务分解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该想法仍处于早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分4242 OpenAI 训练出具备前所未有灵巧度的类人机械手
OpenAI 训练出一只类人机械手，能以"前所未有的灵巧度"操控实体物体。该成果展示了机器人在物理操作能力上的进展。
OpenAI NewsAI 评分4242 OpenAI 发布可逆生成模型 Glow
OpenAI 推出可逆生成模型 Glow，采用可逆 1x1 卷积，简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像，支持高效采样，并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并上线在线可视化工具。
OpenAI News精选AI 评分6262 OpenAI 用单次演示让智能体在《蒙特祖玛的复仇》中取得 74500 分
OpenAI 训练出一个智能体，仅凭单次人类演示就在《蒙特祖玛的复仇》中取得 74500 分的高分，超过此前所有已公布结果。其算法从演示中挑选特定状态作为起点，让智能体依次游玩并优化游戏得分，所用强化学习算法 PPO 也是 OpenAI Five 的基础。
推荐理由：OpenAI 用单次人类演示加 PPO 在《蒙特祖玛的复仇》上取得 74500 分，可了解演示驱动强化学习的早期思路。
OpenAI NewsAI 评分2222 OpenAI Retro Contest 首届比赛结果公布
OpenAI 首届 Retro Contest 已完成，该比赛旨在探索能从过往经验中泛化的算法。比赛结果已公布。
OpenAI News精选AI 评分8282 OpenAI 用无监督学习提升语言理解能力
OpenAI 用 Transformer 结合无监督预训练的可扩展、任务无关系统，在多项语言任务上取得当时最优结果，并对外发布了该系统。OpenAI 表示，这一结果说明监督学习方法与无监督预训练相结合效果很好，希望推动在更大、更多样的数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套可扩展系统。
OpenAI News精选AI 评分7878 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用一组量化数据说明最大规模 AI 训练算力的增长节奏，可与摩尔定律对照理解算力趋势。
OpenAI NewsAI 评分3838 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类判断胜负。该方法旨在借助辩论提升 AI 系统的安全性。
OpenAI NewsAI 评分3030 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体在测试时可完成训练范围之外的基础任务，例如学会导航到房间中与训练时位置相反一侧的物体。
OpenAI NewsAI 评分4040 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展的元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务最终学到的参数更新。Reptile 是将 Shortest Descent 算法应用于元学习场景，数学上与一阶 MAML 相似，只需黑盒访问 SGD 或 Adam 等优化器，计算效率与性能相近。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意利用的可能路径与防范思路，可作为 AI 安全治理早期讨论的参照。
OpenAI NewsAI 评分3535 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同样能被人类理解。该方法自动挑选最具信息量的示例来教授某个概念，例如用最能描述"狗"这一概念的图像，实验显示它对 AI 教学有效。
OpenAI NewsAI 评分2222 OpenAI 用神经网络自动发现类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的"类型"（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分2222 OpenAI 发布 Requests for Research 2.0，公开七道未解研究难题
OpenAI 发布 Requests for Research 2.0，公开了七道在其研究过程中遇到的未解难题。这批问题面向研究社区征集解法，具体题目内容未在原文中展开。
OpenAI NewsAI 评分4242 OpenAI 提出分层强化学习算法，学习高层动作
OpenAI 开发出一种分层强化学习算法，能学习有助于解决一系列任务的高层动作，从而快速求解需要数千个时间步的任务。在导航问题集上，该算法发现了向不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI NewsAI 评分4242 OpenAI 让纯仿真训练的机器人控制器适应真实环境变化
OpenAI 最新机器人技术让完全在仿真中训练、部署到实体机器人上的控制器，能在完成简单任务时对环境中未预料的变化做出反应，从而构建出闭环系统而非此前的开环系统。
OpenAI NewsAI 评分2222 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体能够快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI News精选AI 评分6262 OpenAI 研究：自对弈让模拟 AI 自行学会身体技能
OpenAI 发现自对弈能让模拟 AI 自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能，无需在设计环境时预先设定这些技能。自对弈还能让环境难度始终与 AI 水平匹配，便于持续提升。结合此前的 Dota 2 自对弈结果，OpenAI 表示越来越确信自对弈将成为未来强大 AI 系统的核心部分。
推荐理由：OpenAI 用自对弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自对弈的训练价值。
OpenAI NewsAI 评分3333 OpenAI 发布 LOLA 算法：让智能体学会建模他人心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法在建模时考虑其他智能体也在学习，从而在迭代囚徒困境中发现“tit-for-tat”这类既自利又合作的策略。这是迈向能够建模他人心智的智能体的一小步。
OpenAI News精选AI 评分8383 OpenAI 详解 Dota 2 自对弈训练结果
OpenAI 发布 Dota 2 研究补充说明，指出在算力充足时自对弈能把机器学习系统从远低于人类水平提升到超人水平。该系统在一个月内从勉强匹敌高排名玩家进步到击败顶尖职业选手，此后仍在持续提升。OpenAI 还指出，监督式深度学习系统的上限受训练数据集限制，而自对弈系统的可用数据会随智能体变强自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在算力充足时能把系统从远低于人类提升到超人水平。
OpenAI News精选AI 评分7878 OpenAI 的 Dota 2 bot 在 1v1 标准赛制下击败顶级职业选手
OpenAI 宣布其打造的 bot 在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶级职业选手。该 bot 完全通过自我对弈从零学习游戏，未使用模仿学习或树搜索。OpenAI 称这是迈向在涉及真实人类的混乱复杂情境中完成明确目标的一步。
推荐理由：OpenAI 用自我对弈从零训练出的 bot 在标准赛制下击败 Dota 2 顶级选手，可看复杂实时环境中的方法取舍。
OpenAI NewsAI 评分4242 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI News精选AI 评分6262 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 因易用且性能良好，已成为 OpenAI 默认的强化学习算法。
推荐理由：OpenAI 公开 PPO 算法并说明其相比当时 SOTA 更易实现和调参，可了解该方法的提出背景。
OpenAI NewsAI 评分4242 OpenAI 造出多尺度视角下稳定欺骗神经网络的对抗样本
OpenAI 造出能从不同尺度和视角稳定欺骗神经网络分类器的对抗图像，直接挑战了上周"自动驾驶汽车因多尺度、多角度取像而难以被恶意欺骗"的说法。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类指出两种候选行为中哪一个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类手写目标函数，因为用简单代理替代复杂目标或把复杂目标写偏一点，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。
OpenAI News精选AI 评分6262 OpenAI 发布可在看过一次示范后学习新任务的机器人系统
OpenAI 发布一套机器人系统，完全在仿真环境中训练后部署到实体机器人上，能在看过一次任务示范后学会新任务。
推荐理由：OpenAI 早期机器人研究，展示纯仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI NewsAI 评分5252 OpenAI 提出无监督情感神经元
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论文本中的下一个字符进行训练，却学到了对情感的良好表征。
OpenAI NewsAI 评分5050 OpenAI 发现进化策略可作为强化学习的可扩展替代方案
OpenAI 发现，已有数十年历史的进化策略（ES）在现代强化学习基准（如 Atari/MuJoCo）上性能可与标准强化学习（RL）技术相媲美，同时规避了 RL 的诸多不便。
OpenAI NewsAI 评分5252 OpenAI 研究：智能体如何发展出自己的语言
OpenAI 发布一项新研究，介绍智能体在训练中发展出自己语言的过程。该帖为摘要，未给出具体方法、实验设置或结果数据。
OpenAI NewsAI 评分4242 OpenAI 参与合著 Google Brain 主导的 AI 安全论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 研究人员共同合著了由 Google Brain 主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。