如何在 🤗 Transformers 中用 Wav2Vec2 对超大文件做自动语音识别
Hugging Face 博客介绍了如何利用 Wav2Vec2 的 CTC 架构特性，在 🤗 Transformers 中对任意长音频文件乃至实时语音进行高质量自动语音识别。
#部署/工程
Hugging Face BlogAI 评分4848
Hugging Face BlogAI 评分3434 Hugging Face Hub 集成 Stable-Baselines3，支持上传与加载强化学习模型
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub，用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face BlogAI 评分2222 Hugging Face Infinity 在 Intel Ice Lake CPU 上的毫秒级延迟案例研究
Hugging Face 公布 Infinity 在 Amazon EC2 C6i（Intel Ice Lake）实例上的端到端推理基准：优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%，相比 Cascade Lake 实例最高提升 34%。
Hugging Face BlogAI 评分3434 使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 发布教程，介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型，在 NVIDIA T4 GPU 实例（约 500 美元/月）上实现可扩展的实时推理。
OpenAI NewsAI 评分4040 OpenAI 推出 GPT-3 微调功能：一条命令定制你的应用
OpenAI 为 GPT-3 推出微调功能，用户只需一条命令即可针对自己的应用定制模型。
Hugging Face BlogAI 评分2222 Hugging Face 推出首个 ML-Agents 环境 Snowball Fight
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，基于 Unity ML-Agents 构建，玩家可与深度强化学习智能体对战投掷雪球，游戏托管在 Hugging Face Spaces 并可在线游玩。训练环境已开源发布在 Hugging Face Hub，后续将推出使用 MA-POCA 算法的 2vs2 协作版本及更多自定义环境。
Hugging Face BlogAI 评分2222 用 Optimum 在 Graphcore IPU 上快速上手 Hugging Face Transformers
Hugging Face 与 Graphcore 合作推出开源库 Optimum，让 Transformer 模型更易在多种硬件上降低预测延迟，首个 IPU 优化模型为 BERT。
Hugging Face BlogAI 评分3535 如何用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable CPU（Ice Lake 架构）集群上，借助 Intel extension for PyTorch 和 oneCCL 通信库，可将 PyTorch 分布式微调任务加速。
Hugging Face BlogAI 评分2222 在现代 CPU 上扩展 BERT 类模型推理（第二部分）：Intel 软件优化与 Ice Lake 性能实测
Hugging Face 博客第二部分聚焦用 Intel 软件栈优化 CPU 上的 BERT 类模型推理，并给出 Ice Lake 代 Xeon 的性能实测。Ice Lake Xeon 在多种 NLP 任务上推理最高比上代 Cascade Lake 快 75%，依托 AVX512、VNNI 等指令及 oneAPI 下的 oneMKL、oneDNN、oneCCL 等库。
Hugging Face BlogAI 评分2828 大语言模型：新的摩尔定律？
微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型趋势：基准提升有限，却带来高昂成本、复杂度和碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Spaces 上用 Streamlit 托管模型与数据集
Hugging Face 发布博客，介绍如何用 Streamlit 在 Hugging Face Spaces 上托管模型与数据集并搭建演示应用。
Hugging Face BlogAI 评分3030 用 Gradio 在 Hugging Face Spaces 中展示你的项目
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管 ML 演示应用：通过 gr.Interface.load 调用 Hub 模型并借助 Inference API 推理，只需定义模型仓库 ID、描述和示例输入，调用 .launch() 即可运行。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源优化工具库 Optimum
Hugging Face 发布开源库 Optimum，目标是成为 Transformer 生产性能的优化工具包，让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建，首个案例是与 Intel 的 Neural Compressor 配合，演示如何为 Intel Xeon CPU 量化模型。
推荐理由：Hugging Face 官方开源 Optimum，读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
Hugging Face BlogAI 评分2727 Hugging Face 与 Graphcore 合作推出 IPU 优化的 Transformer 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划，Graphcore 作为创始成员参与，双方将合作为 Intelligence Processing Unit（IPU）优化 Transformer 模型。
OpenAI News精选AI 评分6262 OpenAI 发布 Triton 1.0：面向神经网络的 GPU 编程开源语言
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水准。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face BlogAI 评分3838 Hugging Face Hub 正式支持 spaCy 模型
Hugging Face Hub 现已支持托管和分享 spaCy 的 NLP 流水线，用户可通过单条命令上传任意 pipeline 包，并自动生成模型卡和元数据。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Amazon SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 发布面向 Amazon SageMaker 的 Inference DLC 与 Inference Toolkit，只需一行代码即可部署训练好的 Transformer 模型，或从 Model Hub 的 10,000+ 公开模型中任选一个部署。
Hugging Face BlogAI 评分4040 Hugging Face Hub 集成 Sentence Transformers：v2 发布，新增特征提取与句子相似度组件
Hugging Face Hub 与 Sentence Transformers 完成集成，随 Sentence Transformers v2 发布，Hub 上已有超过 90 个预训练模型、覆盖 100 多种语言。
Hugging Face BlogAI 评分5050 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，只需 1 行代码即可为几乎任意 Hugging Face 模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers。该版本支持并行加载多个模型进行对比，或将模型串联组合，例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用。
Hugging Face BlogAI 评分2828 Hugging Face 如何用 CPU 扩展 BERT 推理（上）：硬件优化与基准测试
Hugging Face 发布博客，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，基于 AWS c5.metal 实例（Intel Xeon Platinum 8275，48 核/96 线程）测试 PyTorch 1.8.1 与 TensorFlow 2.4.0 的推理表现，开箱即用下 PyTorch 在所有测试配置中均优于 TensorFlow。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 库，五处改动让 PyTorch 训练脚本支持分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望保留训练循环控制权的 PyTorch 用户，用统一 API 封装分布式训练（单机或多机多 GPU、TPU）与混合精度所需的样板代码。
推荐理由：原文给出五处代码改动即可跑分布式与混合精度的具体做法，便于对照现有 PyTorch 训练脚本评估迁移成本。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分4242 Hugging Face 与 Amazon SageMaker 达成战略合作，推出深度学习容器
Hugging Face 与 Amazon 宣布战略合作，Hugging Face 将 AWS 作为首选云服务商，并推出 Hugging Face Deep Learning Containers（DLCs），让用户可在 Amazon SageMaker 中训练 Transformer 模型。
Hugging Face BlogAI 评分2222 我在 Google Cloud 上部署 serverless transformers pipeline 的历程
社区成员 Maxence Dominici 在 Google Cloud 上部署了基于 DistilBERT base uncased finetuned SST-2 的情感分析 pipeline，用于自动判断 Discord 中客户评论的正负向。
Hugging Face BlogAI 评分3636 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，强调第一步应放下机器学习、专注理解数据，包括标签是否平衡、噪声来源和预处理方式。第二步从最简基线做起，如文本分类用 word2vec 或 fastText 嵌入上的逻辑回归，以判断任务难度并建立合理对比。实现后应尝试过拟合 16 个样本的小批量，若无法达到 0 损失则很可能存在实现错误。
Hugging Face BlogAI 评分3636 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分4646 Hugging Face 支持在 PyTorch / XLA TPU 上训练 Transformer
Hugging Face 与 PyTorch / XLA 团队合作，让用户通过相同的 Trainer 接口在 Cloud TPU 上训练和扩展 Transformer 模型。
Hugging Face BlogAI 评分2828 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等模型性能提升并支持 TensorFlow Serving
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
OpenAI NewsAI 评分4040 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
Hugging Face Blog精选AI 评分6060 通过 DeepSpeed 和 FairScale 用 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
Hugging Face BlogAI 评分4040 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过优化模型管线、Rust 版 Tokenizers 缓存以及针对硬件的编译优化，为 Accelerated Inference API 客户实现了 100 倍推理提速。前 10 倍来自 Hugging Face 库内置的高效方法，后 10 倍则依赖静态图优化、层融合与量化等 CPU/GPU 特定技术。
Hugging Face BlogAI 评分3434 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 fairseq 的 WMT19 新闻翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植。
Hugging Face BlogAI 评分3838 Hugging Face 发布 pytorch_block_sparse：用块稀疏矩阵让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，让语言模型更小更快。该库基于 NVIDIA CUTLASS 的块稀疏矩阵乘法，75% 稀疏度下矩阵运算约比稠密快 2 倍、内存占用减少 4 倍，但当前整体性能仍比 cuBLAS 稠密实现慢约 2 倍。
Hugging Face BlogAI 评分4242 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下处理长达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
OpenAI NewsAI 评分2626 OpenAI 将深度学习框架标准化为 PyTorch
OpenAI 宣布将其深度学习框架标准化为 PyTorch。
OpenAI NewsAI 评分5252 OpenAI 发布块稀疏 GPU kernel
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU kernel，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。该 kernel 已被用于文本情感分析和文本、图像生成建模，并取得当时的最优结果。
OpenAI NewsAI 评分3434 OpenAI 开源基于 MuJoCo 引擎的高性能 Python 机器人仿真库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。
OpenAI News精选AI 评分6060 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，并已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解其与既有强化学习环境的衔接方式。
OpenAI News精选AI 评分6262 OpenAI 发布 Universe 软件平台
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖全球的游戏、网站及其他应用。
推荐理由：OpenAI 发布 Universe 平台，读者可了解其用游戏和网站训练通用智能的定位。
OpenAI NewsAI 评分4040 OpenAI 与 Microsoft 合作，将大规模实验迁移至 Azure
OpenAI 正与 Microsoft 合作，将其大部分大规模实验放到 Azure 上运行。