内容形态
新模型的发布、开源与迭代：大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
269 条精选近 30 天 28 条共收录 342 条
Hugging Face 在 Transformers 库中加入 Perceiver IO，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，并随附示例 Space 与 notebook。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套架构如何用 latent 空间统一处理文本、图像、音频与光流。
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 官方公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期起点。
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 官方介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI 发布 Jukebox，一个能生成音乐并以原始音频形式输出、包含初级演唱的神经网络，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于查看生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可据此了解早期音乐生成模型的开源形态。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并同时开放代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。OpenAI 希望该案例对未来的强大模型开发者有用，并继续与 AI 社区就负责任发布展开讨论。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的最后一步，读者可了解其负责任发布流程的完整案例。
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段放出 GPT-2 最大版本，并公开模型共享法律协议，可观察大模型发布与风险管控的早期做法。
OpenAI 发布 MuseNet，一个可生成 4 分钟乐曲、支持 10 种乐器的深度神经网络，能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识，而是通过预测数十万份 MIDI 文件中的下一个 token 来学习和声、节奏与风格。它沿用了与 GPT-2 相同的通用无监督技术，即预测序列中下一个 token 的大规模 Transformer 模型，无论序列是音频还是文本。
推荐理由：OpenAI 用与 GPT-2 同源的通用无监督技术生成音乐，可观察同一架构跨模态迁移的早期路径。
OpenAI 训练了一个大规模无监督语言模型，能够生成连贯的段落文本，在多项语言建模基准上取得当时最好成绩。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 官方披露一个大规模无监督语言模型，在多项语言建模基准上取得当时最好成绩，并零样本完成阅读理解、翻译、问答与摘要。
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five 已在 Dota 2 中开始战胜业余人类队伍。该团队由五个神经网络构成，此次公布的是这一阶段性对战结果。
推荐理由：OpenAI 公开了由五个神经网络组成的 OpenAI Five 在 Dota 2 中开始战胜业余人类队伍这一阶段性结果。