通过 DeepSpeed 和 FairScale 用 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
#开源生态
Hugging Face Blog精选AI 评分6060
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，提供开箱即用的超参数调优能力。在 RTE 数据集上微调 BERT 的实验中，Population-based Training 取得 70.5% 最佳测试准确率，优于网格搜索的 65.4% 和贝叶斯优化的 66.9%。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，聚焦其数学定义与推理用法。文章将架构拆解为编码器和解码器两部分，并关联 🤗Transformers 中的 T5、Bart、MarianMT、Pegasus 等模型的实际推理。该文不涉及模型训练，仅提供背景与图示说明。
Hugging Face BlogAI 评分4242 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下处理长达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
OpenAI NewsAI 评分2020 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。
推荐理由：Hugging Face 官方梳理贪心、beam search 与采样等解码策略，并给出 transformers 可直接运行的代码示例。
Hugging Face BlogAI 评分5252 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的小型语言模型 EsperBERTo，并在世界语上完成词性标注微调。