GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
全部 AI 动态
OpenAI News精选AI 评分6262
Hugging Face BlogAI 评分4040 Hugging Face 解读大语言模型红队测试：方法、风险与最佳实践
红队测试通过构造自然语言提示词诱导大语言模型暴露有害输出，与对抗攻击不同，其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 是缺乏红队评估导致灾难性后果的真实案例。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究：语言模型如何被用于虚假信息宣传及如何降低风险
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型被用于虚假信息宣传的潜在风险，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于放大虚假信息宣传对信息环境构成的威胁，并提出了分析潜在缓解措施的框架。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 大规模文本嵌入基准
Hugging Face 发布 MTEB，一个衡量文本嵌入模型在多种嵌入任务上表现的基准，包含 8 类任务、56 个数据集，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总到同一榜单，读者可据此理解文本嵌入模型的评测维度与取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程、RAFT 基准对比与 30 秒训练成本，读者可据此判断少样本分类的落地门槛。
OpenAI NewsAI 评分4242 OpenAI 披露 DALL·E 2 预训练缓解措施
OpenAI 为向大众开放 DALL·E 2，在预训练阶段采取多种缓解措施以降低强大图像生成模型带来的风险。这些防护机制用于防止生成图像违反其内容政策。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 训练神经网络通过 Video PreTraining（VPT）在大量无标注的人类 Minecraft 游玩视频上学习，仅使用少量标注承包商数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机操作智能体的一步。
推荐理由：OpenAI 用大量无标注游戏视频预训练网络，仅少量标注数据微调即可完成钻石工具制作，为通用计算机操作智能体提供了一条路径。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，规模对批评写作的提升大于对摘要写作的提升。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供了一种可参考的思路。
Hugging Face BlogAI 评分3636 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
OpenAI NewsAI 评分5656 OpenAI 构建 Lean 神经定理证明器，解出部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够解出多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 竞赛的题目，以及两道改编自 IMO 的问题。
OpenAI NewsAI 评分5252 OpenAI 发布 WebGPT，通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其能借助基于文本的网页浏览器更准确地回答开放式问题。该工作名为 WebGPT，目标是提升语言模型回答的事实准确性。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的正确率为 55%，而 9-12 岁儿童小样本的正确率为 60%，即解题量约为这些孩子的 90%。
推荐理由：OpenAI 用自建小学数学数据集对比微调 GPT-3，给出模型与 9-12 岁儿童在同一批题目上的准确率差距。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，让模型能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合，评估显示增强后过拟合明显下降。模型已开放下载，并提供在线 demo。
OpenAI NewsAI 评分3636 OpenAI 用人类反馈摘要书籍
OpenAI 利用人类反馈来扩展 AI 系统在难以评估任务上的监督能力，并将其应用于书籍摘要。该方法针对难以自动评估的任务，通过人类反馈进行监督扩展。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 博客介绍 DeDLOC 协作分布式训练方法，通过自适应梯度聚合适应参与者的网络与硬件差异，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型，为算力受限的社区提供了一条可复现的协作训练路径。
OpenAI NewsAI 评分3535 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在一个小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
Hugging Face BlogAI 评分2222 Hugging Face 月度阅读：2021 年 2 月——长程 Transformer
Hugging Face 月度阅读小组 2021 年 2 月聚焦长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四篇论文梳理降低 Transformer 序列长度二次开销的四条路线：自定义注意力模式、循环、低秩近似与核近似。
OpenAI News精选AI 评分6060 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现一类神经元，无论概念以字面、符号还是概念形式呈现都会产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时仍保持准确的原因，也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由：OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元发现，有助于理解模型的关联与偏见来源。
OpenAI News精选AI 评分6262 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：OpenAI 用人类反馈强化学习训练摘要模型，可了解 RLHF 在摘要任务上的早期应用思路。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 建模像素序列生成图像
OpenAI 发现，与在语言上训练的大 Transformer 模型一样，在像素序列上训练的同一模型也能生成连贯的图像补全和样本。研究通过建立样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一套 Transformer 架构处理像素序列，并给出生成质量与分类精度相关的证据，可看早期统一建模思路。
OpenAI News精选AI 评分8181 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布论文《Language models are few-shot learners》，提出语言模型具备少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来，在 ImageNet 分类上训练神经网络达到同等性能所需的算力每 16 个月减少一半。相比 2012 年，训练达到 AlexNet 水平的网络所需算力已减少 44 倍，而同期摩尔定律仅带来 11 倍的成本改善。研究认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对比理解 AI 效率提升来源。
OpenAI NewsAI 评分3434 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与发布了一份由 30 家机构、58 位作者共同撰写的多利益相关方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者与公民社会也可据此评估 AI 开发过程。
OpenAI News精选AI 评分7070 OpenAI 发布神经语言模型的缩放定律研究
OpenAI 发布关于神经语言模型缩放定律的研究，探讨模型性能与规模之间的关系。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分6262 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究，原文链接为 https://openai.com/index/dota-2-with-large-scale-deep-reinforcement-learning。
OpenAI NewsAI 评分4040 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但研究者尚不完全理解其成因，认为值得进一步研究。
OpenAI NewsAI 评分4242 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI News精选AI 评分7878 OpenAI 用机械手解魔方：纯仿真训练加 ADR 技术
OpenAI 训练了一对神经网络，让类人机械手解开魔方，训练完全在仿真中完成，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。该系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要极高灵巧度的物理世界问题。
推荐理由：OpenAI 用同一套强化学习代码加 ADR 在仿真中训练机械手解魔方，可观察仿真到真实世界的迁移思路。
OpenAI News精选AI 评分6060 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何影响模型行为，也暴露了标注偏好与研究者预期的偏差。
OpenAI News精选AI 评分6262 OpenAI 从多智能体交互中观察到工具使用的涌现
OpenAI 在模拟捉迷藏环境中训练智能体，观察到它们逐步学会使用更复杂的工具，并形成六种不同的策略与反策略，其中一些策略是该环境原本未被设计支持的。OpenAI 认为，这种在简单环境中自监督涌现出的复杂性，说明多智能体共同适应未来可能产生更复杂、更智能的行为。
推荐理由：OpenAI 在捉迷藏模拟环境中观察到智能体自发形成六种策略与反策略，可了解多智能体协同演化的一种研究路径。
OpenAI NewsAI 评分3636 OpenAI 提出 UAR 指标，评估神经网络抵御未见对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否可靠抵御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness），可衡量单一模型面对未预期攻击时的鲁棒性。该方法同时指出，需要在更多样化的未见攻击范围内衡量模型表现。
OpenAI NewsAI 评分3434 OpenAI 为何认为负责任 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即用于提升 AI 安全规范长期行业合作可能性的策略：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能引发集体行动问题，导致 AI 公司对安全投入不足。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，可处理长 30 倍的序列
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进，从比以往长 30 倍的序列中提取模式。
推荐理由：OpenAI 官方介绍 Sparse Transformer 对注意力机制的改进，可了解长序列建模在文本、图像和声音上的早期思路。
OpenAI NewsAI 评分3636 OpenAI 提出能量模型（EBM）隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定可扩展训练上取得进展，其样本质量和泛化能力优于现有模型。EBM 生成时投入更多算力持续精修结果，在低温度下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分4242 OpenAI 推出 Activation Atlases：可视化神经元交互的新技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，一种可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景，更好地理解其内部决策过程有助于识别弱点和调查失败原因。
OpenAI NewsAI 评分3737 OpenAI 发布 Neural MMO：大规模多智能体游戏环境
OpenAI 发布 Neural MMO，一个面向强化学习智能体的大规模多智能体游戏环境，支持在持久、开放式任务中容纳数量可变的大量智能体。该平台通过引入众多智能体与物种，带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI NewsAI 评分4242 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发布论文指出，长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在涉及真实人类时能够奏效。论文认为，要让先进 AI 系统与人类价值观正确对齐，必须解决人类理性、情绪与偏见等心理学层面的诸多不确定性，OpenAI 计划全职招聘社会科学家推进这一方向。
OpenAI NewsAI 评分4242 OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性
OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果表明神经网络训练并非神秘技艺，而是可以被严格化和系统化的。
OpenAI NewsAI 评分3636 OpenAI 发布 CoinRun：量化强化学习中的泛化能力
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的泛化能力，并已帮助厘清强化学习领域一个长期存在的难题。该环境在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但仍对当前最先进算法构成值得挑战的泛化考验。
OpenAI NewsAI 评分4040 OpenAI 用能量函数模型学习概念
OpenAI 开发出一种基于能量的模型，仅需五次演示即可学会识别并生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还展现出跨域迁移能力：在 2D 粒子环境中学会的概念可用于解决 3D 物理机器人的任务。