通过 DeepSpeed 和 FairScale 用 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
技术方向
开源生态 最新动态
开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
409 条精选近 30 天 37 条共收录 1,127 条
更新
精选归档 · 第 21 页
Hugging Face Blog精选AI 评分6060
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox 并开源模型权重与代码
OpenAI 发布 Jukebox，一个能生成音乐并以原始音频形式输出、包含初级演唱的神经网络，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于查看生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可据此了解早期音乐生成模型的开源形态。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。
推荐理由：Hugging Face 官方梳理贪心、beam search 与采样等解码策略，并给出 transformers 可直接运行的代码示例。
OpenAI News精选AI 评分8080 OpenAI 发布 GPT-2 最大版本 1.5B 及代码与模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并同时开放代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。OpenAI 希望该案例对未来的强大模型开发者有用，并继续与 AI 社区就负责任发布展开讨论。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的最后一步，读者可了解其负责任发布流程的完整案例。
OpenAI News精选AI 评分7878 OpenAI 发布 774M 参数 GPT-2 模型
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段放出 GPT-2 最大版本，并公开模型共享法律协议，可观察大模型发布与风险管控的早期做法。
OpenAI News精选AI 评分6262 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 因易用且性能良好，已成为 OpenAI 默认的强化学习算法。
推荐理由：OpenAI 公开 PPO 算法并说明其相比当时 SOTA 更易实现和调参，可了解该方法的提出背景。
OpenAI News精选AI 评分6262 OpenAI 开源强化学习复现项目 Baselines，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续发布节奏。
OpenAI News精选AI 评分6060 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，并已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解其与既有强化学习环境的衔接方式。
OpenAI News精选AI 评分6262 OpenAI 发布强化学习工具包 Gym 公测版
OpenAI 发布强化学习工具包 OpenAI Gym 的公测版，用于开发和比较 RL 算法。它包含一套持续扩充的环境，涵盖模拟机器人和 Atari 游戏，并提供一个用于比较和复现结果的站点。
推荐理由：OpenAI 公开强化学习工具包 Gym 的 beta 版，可了解其环境套件与结果对比站点的定位。