Hugging Face 发布教程，介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型，用于自动补全 Python 代码。作者从 Google BigQuery 的 GitHub dump 中筛选出 180GB、2000 万个 Python 文件，去重并按 Codex 论文的清洗规则处理后得到 50GB 数据集 codeparrot-clean。
推荐理由：完整拆解了从数据清洗、tokenizer 训练到多卡训练循环的每一步，可迁移到自建代码生成模型的流程。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，基于 Unity ML-Agents 构建，玩家可与深度强化学习智能体对战投掷雪球，游戏托管在 Hugging Face Spaces 并可在线游玩。训练环境已开源发布在 Hugging Face Hub，后续将推出使用 MA-POCA 算法的 2vs2 协作版本及更多自定义环境。
Hugging Face 与 Graphcore 合作推出开源库 Optimum，让 Transformer 模型更易在多种硬件上降低预测延迟，首个 IPU 优化模型为 BERT。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
在 Intel Xeon Scalable CPU（Ice Lake 架构）集群上，借助 Intel extension for PyTorch 和 oneCCL 通信库，可将 PyTorch 分布式微调任务加速。
Hugging Face 发布教程，演示如何用 🤗 Transformers 将预训练模型 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别。教程以 Common Voice 土耳其语数据集为例，仅用约 4 小时验证训练数据，采用 CTC 算法微调，并用 WER 指标评估。
Hugging Face 博客第二部分聚焦用 Intel 软件栈优化 CPU 上的 BERT 类模型推理，并给出 Ice Lake 代 Xeon 的性能实测。Ice Lake Xeon 在多种 NLP 任务上推理最高比上代 Cascade Lake 快 75%，依托 AVX512、VNNI 等指令及 oneAPI 下的 oneMKL、oneDNN、oneCCL 等库。
微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型趋势：基准提升有限，却带来高昂成本、复杂度和碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调。
Hugging Face 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等常见 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动包含两天讲座和团队项目，AWS 通过 Amazon SageMaker 提供免费算力，完成项目者可获结业证书。
Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型，硬件为 7 块 TPU v3-8，并获 Google Flax、JAX 与 Cloud 团队指导。训练采用对比学习与 in-batch negatives（InfoNCE/NTXentLoss），通过增大 batch、引入 hard negatives 和跨数据集批次提升质量。所有模型与数据集已在模型卡中公开。
Hugging Face 发文指出，2021 年 State of AI Report 与 Kaggle 调查显示 Transformer 已从 NLP 扩展为通用 ML 架构，在语音、视觉、点云等任务上表现优异，其使用率逐年上升，而 RNN、CNN 和梯度提升算法持续下滑。
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，让模型能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合，评估显示增强后过拟合明显下降。模型已开放下载，并提供在线 demo。
Hugging Face 发布博客，介绍如何用 Streamlit 在 Hugging Face Spaces 上托管模型与数据集并搭建演示应用。
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管 ML 演示应用：通过 gr.Interface.load 调用 Hub 模型并借助 Inference API 推理，只需定义模型仓库 ID、描述和示例输入，调用 .launch() 即可运行。
Hugging Face 发布夏季回顾，Hub 上的公开模型仓库从 1 万个增至超过 1.6 万个，并推出可直接托管 ML 演示应用的 Spaces Beta，支持 Gradio 和 Streamlit。
Hugging Face 发布开源库 Optimum，目标是成为 Transformer 生产性能的优化工具包，让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建，首个案例是与 Intel 的 Neural Compressor 配合，演示如何为 Intel Xeon CPU 量化模型。
推荐理由：Hugging Face 官方开源 Optimum，读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划，Graphcore 作为创始成员参与，双方将合作为 Intelligence Processing Unit（IPU）优化 Transformer 模型。
Hugging Face 博客介绍 DeDLOC 协作分布式训练方法，通过自适应梯度聚合适应参与者的网络与硬件差异，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型，为算力受限的社区提供了一条可复现的协作训练路径。
Hugging Face Hub 现已支持托管和分享 spaCy 的 NLP 流水线，用户可通过单条命令上传任意 pipeline 包，并自动生成模型卡和元数据。
Hugging Face 发布面向 Amazon SageMaker 的 Inference DLC 与 Inference Toolkit，只需一行代码即可部署训练好的 Transformer 模型，或从 Model Hub 的 10,000+ 公开模型中任选一个部署。
Hugging Face Hub 与 Sentence Transformers 完成集成，随 Sentence Transformers v2 发布，Hub 上已有超过 90 个预训练模型、覆盖 100 多种语言。
Hugging Face 发文介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Gradio 2.0 发布，只需 1 行代码即可为几乎任意 Hugging Face 模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers。该版本支持并行加载多个模型进行对比，或将模型串联组合，例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用。
Hugging Face 发布博客，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，基于 AWS c5.metal 实例（Intel Xeon Platinum 8275，48 核/96 线程）测试 PyTorch 1.8.1 与 TensorFlow 2.4.0 的推理表现，开箱即用下 PyTorch 在所有测试配置中均优于 TensorFlow。
Hugging Face 发布 Accelerate 库，面向希望保留训练循环控制权的 PyTorch 用户，用统一 API 封装分布式训练（单机或多机多 GPU、TPU）与混合精度所需的样板代码。
推荐理由：原文给出五处代码改动即可跑分布式与混合精度的具体做法，便于对照现有 PyTorch 训练脚本评估迁移成本。
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型通过滑动注意力、全局 token 和随机 token 三种方式近似 BERT 的完整注意力，可处理长达 4096 的序列，计算成本远低于 BERT，并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已集成到 Transformers 中。
Hugging Face 与 Amazon 宣布战略合作，Hugging Face 将 AWS 作为首选云服务商，并推出 Hugging Face Deep Learning Containers（DLCs），让用户可在 Amazon SageMaker 中训练 Transformer 模型。
社区成员 Maxence Dominici 在 Google Cloud 上部署了基于 DistilBERT base uncased finetuned SST-2 的情感分析 pipeline，用于自动判断 Discord 中客户评论的正负向。
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型完成英语 ASR。Wav2Vec2 于 2020 年 9 月发布，基于超 5 万小时无标注语音预训练，仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER。
Hugging Face 月度阅读小组 2021 年 2 月聚焦长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四篇论文梳理降低 Transformer 序列长度二次开销的四条路线：自定义注意力模式、循环、低秩近似与核近似。
Hugging Face 工程师分享构建和调试神经网络的思考流程，强调第一步应放下机器学习、专注理解数据，包括标签是否平衡、噪声来源和预处理方式。第二步从最简基线做起，如文本分类用 word2vec 或 fastText 嵌入上的逻辑回归，以判断任务难度并建立合理对比。实现后应尝试过拟合 16 个样本的小批量，若无法达到 0 损失则很可能存在实现错误。
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face 与 PyTorch / XLA 团队合作，让用户通过相同的 Trainer 接口在 Cloud TPU 上训练和扩展 Transformer 模型。
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
Hugging Face 通过优化模型管线、Rust 版 Tokenizers 缓存以及针对硬件的编译优化，为 Accelerated Inference API 客户实现了 100 倍推理提速。前 10 倍来自 Hugging Face 库内置的高效方法，后 10 倍则依赖静态图优化、层融合与量化等 CPU/GPU 特定技术。
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，跳过昂贵的预训练阶段。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练编码器-解码器模型的竞争性效果，训练成本仅为后者一小部分。
Hugging Face 博客记录了将 fairseq 的 WMT19 新闻翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植。
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，提供开箱即用的超参数调优能力。在 RTE 数据集上微调 BERT 的实验中，Population-based Training 取得 70.5% 最佳测试准确率，优于网格搜索的 65.4% 和贝叶斯优化的 66.9%。