Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族,包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解开源大模型的落地方式。
内容形态
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
362 条精选近 30 天 61 条共收录 586 条
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族,包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解开源大模型的落地方式。
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80 多种编程语言,参数规模约 15B、训练 1 万亿 token。
推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力水位。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。
推荐理由:OpenAI 官方公布 GPT-4 的模型定位与多模态输入能力,可据此了解其与人类基准表现的差距。
Anthropic 结束与 Notion、Quora、DuckDuckGo 等伙伴的封闭 alpha 测试,正式发布 AI 助手 Claude,可通过聊天界面和开发者控制台 API 使用。
推荐理由:Anthropic 官方发布 Claude 与 Claude Instant 两个版本,并给出 Notion、Quora、DuckDuckGo 等早期合作方的使用反馈。
OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如作曲、写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,读者可据此了解新模型在创意与技术写作上的生成、编辑和迭代能力。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿图文对)以及基于该数据集训练的 ViT 和 ALIGN 视觉语言模型,这是 ALIGN 模型首次免费开源,也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由:Kakao Brain 开源了首个可复现的 ALIGN 模型及配套 7 亿图文对数据集,读者可据此了解开放数据对视觉语言模型复现的意义。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入向量模型,称其在能力上显著更强、成本更低且更易使用。官方未在摘要中给出模型名称、版本号或具体评测数据。
推荐理由:OpenAI 官方发布新版嵌入向量模型,仅给出更强、更便宜、更易用三点定位,可据此了解其嵌入模型线的更新方向。
OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称该对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与追问、纠错等能力。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性与准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可据此了解其在英文语音识别上的鲁棒性与准确率定位。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,对西班牙语、法语、阿拉伯语等多数语言是首个超过 100B 参数的语言模型。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,为研究大模型内部机制提供了少见的开放样本。
OpenAI 发布新版 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是补全现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解文本补全之外的新交互方式。
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、毒性更低,采用其对齐研究中的技术并引入人类参与训练。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 官方说明 InstructGPT 的指令跟随与对齐改进,并交代其已成为 API 默认模型。
Hugging Face 在 Transformers 库中加入 Perceiver IO,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,并随附示例 Space 与 notebook。
推荐理由:Hugging Face 把 Perceiver IO 接入 Transformers,读者可了解这套架构如何用 latent 空间统一处理文本、图像、音频与光流。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的多种概念。
推荐理由:OpenAI 官方公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期起点。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 官方介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本视觉分类的思路来源。
OpenAI 发布 Jukebox,一个能生成音乐并以原始音频形式输出、包含初级演唱的神经网络,覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码,并提供用于查看生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可据此了解早期音乐生成模型的开源形态。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即参数量 1.5B 的最大版本,并同时开放代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。OpenAI 希望该案例对未来的强大模型开发者有用,并继续与 AI 社区就负责任发布展开讨论。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的最后一步,读者可了解其负责任发布流程的完整案例。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,便于机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 分阶段放出 GPT-2 最大版本,并公开模型共享法律协议,可观察大模型发布与风险管控的早期做法。
OpenAI 发布 MuseNet,一个可生成 4 分钟乐曲、支持 10 种乐器的深度神经网络,能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来学习和声、节奏与风格。它沿用了与 GPT-2 相同的通用无监督技术,即预测序列中下一个 token 的大规模 Transformer 模型,无论序列是音频还是文本。
推荐理由:OpenAI 用与 GPT-2 同源的通用无监督技术生成音乐,可观察同一架构跨模态迁移的早期路径。