OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型,通过奖励每一步正确的推理过程(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。相比结果监督,过程监督不仅提升了性能,还带来对齐收益:直接训练模型产出被人类认可的思维链。
推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解这一训练思路及其对齐收益。
公司与模型
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
294 条精选近 30 天 22 条共收录 1,190 条
OpenAI 训练了一个模型,通过奖励每一步正确的推理过程(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。相比结果监督,过程监督不仅提升了性能,还带来对齐收益:直接训练模型产出被人类认可的思维链。
推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解这一训练思路及其对齐收益。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。该应用由 OpenAI 官方推出,面向 iPhone 用户提供移动端使用入口。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,读者可了解其对话同步与语音输入等基础能力。
OpenAI 用 GPT-4 自动为大型语言模型中的神经元行为撰写解释,并对这些解释打分。团队公开了 GPT-2 中每个神经元的解释与评分数据集,并说明这些解释并不完美。
推荐理由:OpenAI 用 GPT-4 自动为神经元行为写解释并打分,并公开 GPT-2 全部神经元的解释与评分数据集。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练 OpenAI 的模型。
推荐理由:原文说明 ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否用于模型训练的自主控制方式。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或调用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件机制的初步支持,读者可据此了解模型接入外部信息与服务的早期形态。
OpenAI 发布题为 GPTs are GPTs 的研究,初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取,仅标题可用。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。
推荐理由:OpenAI 官方公布 GPT-4 的模型定位与多模态输入能力,可据此了解其与人类基准表现的差距。
OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如作曲、写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,读者可据此了解新模型在创意与技术写作上的生成、编辑和迭代能力。
OpenAI 发布《Planning for AGI and beyond》,阐述其使命是确保通用人工智能(比人类更聪明的 AI 系统)造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的基本立场。
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的,并介绍其改进该行为的计划,包括允许更多用户自定义,以及在相关决策中引入更多公众意见。
推荐理由:OpenAI 说明 ChatGPT 行为如何被塑造,并给出用户自定义与公众参与决策的改进方向。
OpenAI 宣布为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 订阅试点计划,读者可据此了解其早期商业化路径的起点。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类写作文本。
推荐理由:OpenAI 官方发布区分 AI 与人类写作的分类器,可了解其早期检测思路与官方定位。
OpenAI 与 Microsoft 宣布延长双方的合作关系,具体条款与期限未在原文中披露。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入向量模型,称其在能力上显著更强、成本更低且更易使用。官方未在摘要中给出模型名称、版本号或具体评测数据。
推荐理由:OpenAI 官方发布新版嵌入向量模型,仅给出更强、更便宜、更易用三点定位,可据此了解其嵌入模型线的更新方向。
OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称该对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与追问、纠错等能力。
OpenAI 宣布 DALL·E API 进入公开测试阶段,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及对安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 等待名单,读者可了解其安全系统改进后开放范围的变化。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性与准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可据此了解其在英文语音识别上的鲁棒性与准确率定位。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于扩展画面并讲述更完整的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting 能力,读者可了解图像生成从单张出图扩展到任意尺寸续画。