OpenAI 用 GPT-3 打造新一代 AI 角色
OpenAI 正利用 GPT-3 创建新一代 AI 驱动的角色。
OpenAI 正利用 GPT-3 创建新一代 AI 驱动的角色。
OpenAI 应用 AI 研究团队的 Lilian Weng 就持续学习这一主题分享了观点。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入向量模型,称其在能力上显著更强、成本更低且更易使用。官方未在摘要中给出模型名称、版本号或具体评测数据。
推荐理由:OpenAI 官方发布新版嵌入向量模型,仅给出更强、更便宜、更易用三点定位,可据此了解其嵌入模型线的更新方向。
OpenAI 超级计算团队工程师 Christian Gibson 分享了他在后端系统细节方面的发现。
OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称该对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与追问、纠错等能力。
OpenAI 宣布 DALL·E API 进入公开测试阶段,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face 发布教程,介绍如何用 Transformers 在任意多语言 ASR 数据集上微调 Whisper,涵盖 Common Voice 数据准备、特征提取器与 tokenizer 配置、训练评估及 Gradio 演示的完整代码。
推荐理由:原文给出用 Transformers 微调 Whisper 的完整代码流程,并附 8 小时数据把 WER 从 63.5% 降到 32.0% 的实测结果。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及对安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 等待名单,读者可了解其安全系统改进后开放范围的变化。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性与准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可据此了解其在英文语音识别上的鲁棒性与准确率定位。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于扩展画面并讲述更完整的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting 能力,读者可了解图像生成从单张出图扩展到任意尺寸续画。
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统,进而帮助解决其余所有对齐问题。
OpenAI 发布新版内容审核工具 Moderation endpoint,改进此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:官方公布 DALL·E 测试版开放节奏与免费额度、付费增量,可据此了解早期图像生成产品的定价方式。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取多种缓解措施以降低强大图像生成模型带来的风险。这些防护机制用于防止生成图像违反其内容政策。
OpenAI 训练神经网络通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频上学习,仅使用少量标注承包商数据。经微调后,模型能学会制作钻石工具,这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口,具有较强通用性,是迈向通用计算机操作智能体的一步。
推荐理由:OpenAI 用大量无标注游戏视频预训练网络,仅少量标注数据微调即可完成钻石工具制作,为通用计算机操作智能体提供了一条路径。
OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型批评后,发现摘要缺陷的频率明显提高。研究还发现,模型规模越大自我批评能力越强,规模对批评写作的提升大于对摘要写作的提升。
推荐理由:OpenAI 训练批评写作模型辅助人类发现摘要缺陷,为 AI 监督 AI 提供了一种可参考的思路。
大型神经网络是近期许多 AI 进展的核心,但其训练是一项困难的工程与研究挑战,需要编排一组 GPU 集群完成单次同步计算。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践,适用于任何开发或部署大语言模型的组织。
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持,覆盖多种使用场景。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期已生成超 300 万张图像,并给出每周新增 1000 名候补用户的节奏。
OpenAI 宣布多项高管职位变动,称此次调整反映了公司近期进展,并将确保团队持续推进下一阶段重要里程碑。
OpenAI 探讨 Goodhart 定律在 AI 目标优化中的影响:当一个度量指标变成目标时,它就不再是好的度量。该定律源自经济学,但在 OpenAI 优化难以或高成本衡量的目标时同样适用。
OpenAI 发布新版 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是补全现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解文本补全之外的新交互方式。
OpenAI 发起意向征集,邀请研究者参与大语言模型经济影响的研究。该征集面向有意研究 LLM 经济影响的各方,具体参与方式与研究方向未在公告中详述。
OpenAI 分享了在已部署模型安全与滥用问题上的最新思考,旨在帮助其他 AI 开发者应对同类问题。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够解出多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 竞赛的题目,以及两道改编自 IMO 的问题。
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、毒性更低,采用其对齐研究中的技术并引入人类参与训练。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 官方说明 InstructGPT 的指令跟随与对齐改进,并交代其已成为 API 默认模型。
OpenAI 在 API 中新增 embeddings 端点,用于处理自然语言与代码任务,包括语义搜索、聚类、主题建模和分类。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可了解语义搜索、聚类与分类等任务的接入方式。
OpenAI 对 GPT-3 进行微调,使其能借助基于文本的网页浏览器更准确地回答开放式问题。该工作名为 WebGPT,目标是提升语言模型回答的事实准确性。
OpenAI 为 GPT-3 推出微调功能,用户只需一条命令即可针对自己的应用定制模型。
OpenAI 宣布推出 OpenAI Residency,作为其支持和培养 AI 人才努力的一部分。该项目面向有志进入 AI 领域的人才,具体申请条件、时间安排与培养细节尚未在公告中披露。
OpenAI 宣布其 API 不再需要等待名单即可使用,官方称更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI 官方宣布 API 取消等待名单,读者可据此了解其开放范围与安全进展的关系。
OpenAI 训练了一个求解小学数学应用题的模型,准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的正确率为 55%,而 9-12 岁儿童小样本的正确率为 60%,即解题量约为这些孩子的 90%。
推荐理由:OpenAI 用自建小学数学数据集对比微调 GPT-3,给出模型与 9-12 岁儿童在同一批题目上的准确率差距。
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP,让模型能按文本描述检索卫星图像。训练采用对比学习,并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合,评估显示增强后过拟合明显下降。模型已开放下载,并提供在线 demo。
OpenAI 利用人类反馈来扩展 AI 系统在难以评估任务上的监督能力,并将其应用于书籍摘要。该方法针对难以自动评估的任务,通过人类反馈进行监督扩展。
OpenAI 宣布任命 Helen Toner 加入其董事会。Helen Toner 是 Georgetown 安全与新兴技术中心(CSET)战略主管,长期研究 AI 政策与安全治理。
OpenAI 发布改进版 Codex,这一 AI 系统可将自然语言转换为代码,即日起通过 API 以私有测试形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并以私有测试形式开放 API,可据此了解自然语言转代码能力的接入方式。