技术方向
开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
317 条精选近 30 天 15 条共收录 784 条
Hugging Face 宣布完成 1 亿美元 C 轮融资，由 Lux Capital 领投，Sequoia、Coatue 等参与。官方称平台已托管 10 万个预训练模型和 1 万个数据集，超过 1 万家公司使用其产品，团队在过去 12 个月从 30 人增至 120 多人。资金将用于加大研究、开源、产品投入以及负责任地推动 AI 民主化。
推荐理由：Hugging Face 官方披露 C 轮融资规模、投资方与平台模型数据集数量，可据此了解其开源生态位置。
Hugging Face 收购机器学习初创公司 Gradio，Gradio 联合创始人以第一人称宣布这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布，用于让机器学习工程师快速构建和分享模型 demo，目前已有超过 30 万个 demo 基于该库搭建。作者表示加入 Hugging Face 后将继续发展 Gradio，让任何有浏览器和网络的人都能使用机器学习，并提到团队正在招聘。
推荐理由：Gradio 创始人以第一人称讲述被 Hugging Face 收购的经过，并回顾该库从 2019 年起步到 30 万 demo 的历程。
Hugging Face 在 Transformers 库中加入 Perceiver IO，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，并随附示例 Space 与 notebook。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套架构如何用 latent 空间统一处理文本、图像、音频与光流。
Hugging Face 发布教程，介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型，用于自动补全 Python 代码。作者从 Google BigQuery 的 GitHub dump 中筛选出 180GB、2000 万个 Python 文件，去重并按 Codex 论文的清洗规则处理后得到 50GB 数据集 codeparrot-clean。
推荐理由：完整拆解了从数据清洗、tokenizer 训练到多卡训练循环的每一步，可迁移到自建代码生成模型的流程。
Hugging Face 发布开源库 Optimum，目标是成为 Transformer 生产性能的优化工具包，让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建，首个案例是与 Intel 的 Neural Compressor 配合，演示如何为 Intel Xeon CPU 量化模型。
推荐理由：Hugging Face 官方开源 Optimum，读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水准。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face 博客介绍 DeDLOC 协作分布式训练方法，通过自适应梯度聚合适应参与者的网络与硬件差异，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型，为算力受限的社区提供了一条可复现的协作训练路径。
Hugging Face 发布 Accelerate 库，面向希望保留训练循环控制权的 PyTorch 用户，用统一 API 封装分布式训练（单机或多机多 GPU、TPU）与混合精度所需的样板代码。
推荐理由：原文给出五处代码改动即可跑分布式与混合精度的具体做法，便于对照现有 PyTorch 训练脚本评估迁移成本。
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
OpenAI 发布 Jukebox，一个能生成音乐并以原始音频形式输出、包含初级演唱的神经网络，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于查看生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可据此了解早期音乐生成模型的开源形态。
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。
推荐理由：Hugging Face 官方梳理贪心、beam search 与采样等解码策略，并给出 transformers 可直接运行的代码示例。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并同时开放代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。OpenAI 希望该案例对未来的强大模型开发者有用，并继续与 AI 社区就负责任发布展开讨论。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的最后一步，读者可了解其负责任发布流程的完整案例。
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段放出 GPT-2 最大版本，并公开模型共享法律协议，可观察大模型发布与风险管控的早期做法。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 因易用且性能良好，已成为 OpenAI 默认的强化学习算法。
推荐理由：OpenAI 公开 PPO 算法并说明其相比当时 SOTA 更易实现和调参，可了解该方法的提出背景。
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续发布节奏。
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，并已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解其与既有强化学习环境的衔接方式。
OpenAI 发布强化学习工具包 OpenAI Gym 的公测版，用于开发和比较 RL 算法。它包含一套持续扩充的环境，涵盖模拟机器人和 Atari 游戏，并提供一个用于比较和复现结果的站点。
推荐理由：OpenAI 公开强化学习工具包 Gym 的 beta 版，可了解其环境套件与结果对比站点的定位。