用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 发布教程，演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base，使用 Transformers、Optimum Habana 和 Datasets 库，以 masked-language modeling 为预训练任务。
#数据/训练
Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分2222 Hugging Face 教程：训练与微调 Sentence Transformers 模型
Hugging Face 发布 Sentence Transformers 训练与微调教程，讲解如何从零构建或从 Hub 加载模型，并以 distilroberta-base 加池化层为例说明其两层结构。
Hugging Face BlogAI 评分2222 Hugging Face 为 🤗 Datasets 新增音频与图像文档
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档，Quickstart 新增端到端加载与处理示例，并引入 to_tf_dataset 函数，可将数据集转换为 tf.data.Dataset 以便用 TensorFlow 或 Keras 训练。
Hugging Face BlogAI 评分3030 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据收集（DADC）：让用户用千奇百怪的手写数字骗过 SOTA 模型，再把骗成功的样本存下来继续训练，多轮重复。文中以 MNIST 手写数字识别为例，用 🤗 Spaces 搭建交互 demo，模型训练 20 个 epoch 后在测试集上达到 89% 准确率，并通过 flag 机制收集对抗样本。
Hugging Face BlogAI 评分4848 BLOOM 训练背后的技术：176B 参数模型如何用 384 张 A100 训成
Hugging Face 详解 176B 参数多语言模型 BLOOM 的训练技术：基于 Megatron-DeepSpeed 的 3D 并行方案，使用 384 张 80GB A100 GPU、350B token 的 46 种语言数据，训练耗时约 3.5 个月。模型架构接近 GPT3 并做了若干改进，词表规模 250,680，训练在法国 Jean Zay 超算上完成。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，对西班牙语、法语、阿拉伯语等多数语言是首个超过 100B 参数的语言模型。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，为研究大模型内部机制提供了少见的开放样本。
Hugging Face BlogAI 评分2222 如何用 Sentence Transformers 开启你的第一个机器学习项目
Hugging Face 发布入门指南，以 Sentence Transformers（ST）为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量，并用 util.cos_sim 计算余弦相似度，支持语义搜索、聚类和模型蒸馏等应用。该库在 GitHub 已获近 8,000 stars，超过 3,000 个项目依赖它。
Hugging Face BlogAI 评分4242 使用 DeepSpeed 加速大模型训练：Accelerate 库实践指南
Hugging Face 展示了如何用 Accelerate 库无需改代码即可启用 DeepSpeed ZeRO，在 2×24GB NVIDIA Titan RTX 上微调 900M 参数的 microsoft/deberta-v2-xlarge-mnli。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 训练神经网络通过 Video PreTraining（VPT）在大量无标注的人类 Minecraft 游玩视频上学习，仅使用少量标注承包商数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机操作智能体的一步。
推荐理由：OpenAI 用大量无标注游戏视频预训练网络，仅少量标注数据微调即可完成钻石工具制作，为通用计算机操作智能体提供了一条路径。
OpenAI NewsAI 评分3838 训练大型神经网络的技术
大型神经网络是近期许多 AI 进展的核心，但其训练是一项困难的工程与研究挑战，需要编排一组 GPU 集群完成单次同步计算。
Hugging Face BlogAI 评分3636 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
Hugging Face BlogAI 评分1515 Hugging Face 机器学习专家 Sasha Luccioni：测量 AI 碳足迹与 Big Science 数据治理
Hugging Face 研究科学家 Sasha Luccioni 在播客中介绍其工作：她担任 Big Science 碳足迹工作组联合主席，研究语言模型训练的环境影响，包括 GPU 小时之外的制造与人员投入成本，并参与数据治理与多语言工作。她此前曾与 Yoshua Bengio 合作开展 AI for climate change 项目，并联合创立 Climate Change AI。
Hugging Face BlogAI 评分2222 用 Kili 和 HuggingFace AutoTrain 做评论意见分类
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线，用于文本分类：AutoTrain 自动完成数据清洗、模型选择和超参数优化，支持二分类与多标签文本分类等任务；Kili 提供协作式标注工具和 GraphQL、Python API。
Hugging Face BlogAI 评分2626 用机器学习打造超级客户服务：Hugging Face 实战教程
Hugging Face 发布博客，演示如何用其生态工具搭建客户服务情感分类系统，自动筛选最不满意的客户消息。
Hugging Face BlogAI 评分1515 Hugging Face 工程师 Lewis Tunstall 谈 Transformers 与大规模模型评估
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了与 Leandro von Werra、Thom Wolf 合著的《NLP with Transformers》，并讲述自己在 transformers 库中推动 ONNX 导出功能，让用户只需一行代码即可将 PyTorch 模型转换格式，从而获得更低延迟和更高吞吐。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人，现于 Hugging Face 负责伦理 AI 研究协议与包容性招聘。她因在微软 Seeing AI 项目中目睹模型将爆炸场景描述为"美丽景色"而转向伦理 AI，并指出 ML 团队普遍缺乏对偏见概念的认知与沟通词汇。
Hugging Face BlogAI 评分2222 BERT 101：SOTA NLP 模型解析
Google AI Language 于 2018 年推出 BERT，这一基于 Transformer 的双向编码器模型可同时处理 11+ 种常见 NLP 任务，并在多项任务上超越此前模型。
Hugging Face BlogAI 评分2525 用 🤗 Transformers 微调 ViT 进行图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集，并借助 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型。ViT 由 Google Brain 团队于 2021 年 6 月提出，将图像切分为子图块并嵌入为 token 序列后送入 Transformer 训练。
OpenAI NewsAI 评分5656 OpenAI 构建 Lean 神经定理证明器，解出部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够解出多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 竞赛的题目，以及两道改编自 IMO 的问题。
Hugging Face BlogAI 评分3636 如何用 Python 入门情感分析
Hugging Face 发布 Python 情感分析入门指南，介绍如何用预训练模型和自有数据完成情感分析。Hugging Face Hub 上已有超过 215 个情感分析模型，借助 transformers 的 pipeline 类，5 行代码即可完成预测。指南还涵盖用自有数据微调模型以及分析推文的方法。
Hugging Face BlogAI 评分2828 如何用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线：在 BBC News 分类数据集上，AutoNLP 训练 15 个多分类模型，约 15 分钟完成，最佳模型准确率达 98.67%，单模型价格低至 $10。
Hugging Face Blog精选AI 评分6262 从零训练代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型，用于自动补全 Python 代码。作者从 Google BigQuery 的 GitHub dump 中筛选出 180GB、2000 万个 Python 文件，去重并按 Codex 论文的清洗规则处理后得到 50GB 数据集 codeparrot-clean。
推荐理由：完整拆解了从数据清洗、tokenizer 训练到多卡训练循环的每一步，可迁移到自建代码生成模型的流程。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Data Measurements Tool：交互式数据集分析工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face BlogAI 评分3535 如何用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable CPU（Ice Lake 架构）集群上，借助 Intel extension for PyTorch 和 oneCCL 通信库，可将 PyTorch 分布式微调任务加速。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的正确率为 55%，而 9-12 岁儿童小样本的正确率为 60%，即解题量约为这些孩子的 90%。
推荐理由：OpenAI 用自建小学数学数据集对比微调 GPT-3，给出模型与 9-12 岁儿童在同一批题目上的准确率差距。
Hugging Face BlogAI 评分2828 大语言模型：新的摩尔定律？
微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型趋势：基准提升有限，却带来高昂成本、复杂度和碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调。
Hugging Face BlogAI 评分5050 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型，硬件为 7 块 TPU v3-8，并获 Google Flax、JAX 与 Cloud 团队指导。训练采用对比学习与 in-batch negatives（InfoNCE/NTXentLoss），通过增大 batch、引入 hard negatives 和跨数据集批次提升质量。所有模型与数据集已在模型卡中公开。
Hugging Face BlogAI 评分2222 机器学习即代码时代已到来
Hugging Face 发文指出，2021 年 State of AI Report 与 Kaggle 调查显示 Transformer 已从 NLP 扩展为通用 ML 架构，在语音、视觉、点云等任务上表现优异，其使用率逐年上升，而 RNN、CNN 和梯度提升算法持续下滑。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，让模型能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合，评估显示增强后过拟合明显下降。模型已开放下载，并提供在线 demo。
Hugging Face BlogAI 评分2222 Hugging Face 夏季回顾：Spaces Beta、模型数破 1.6 万与 JAX/Flax Sprint
Hugging Face 发布夏季回顾，Hub 上的公开模型仓库从 1 万个增至超过 1.6 万个，并推出可直接托管 ML 演示应用的 Spaces Beta，支持 Gradio 和 Streamlit。
OpenAI NewsAI 评分3636 OpenAI 用人类反馈摘要书籍
OpenAI 利用人类反馈来扩展 AI 系统在难以评估任务上的监督能力，并将其应用于书籍摘要。该方法针对难以自动评估的任务，通过人类反馈进行监督扩展。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 博客介绍 DeDLOC 协作分布式训练方法，通过自适应梯度聚合适应参与者的网络与硬件差异，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型，为算力受限的社区提供了一条可复现的协作训练路径。
OpenAI NewsAI 评分3535 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在一个小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分3636 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，强调第一步应放下机器学习、专注理解数据，包括标签是否平衡、噪声来源和预处理方式。第二步从最简基线做起，如文本分类用 word2vec 或 fastText 嵌入上的逻辑回归，以判断任务难度并建立合理对比。实现后应尝试过拟合 16 个样本的小批量，若无法达到 0 损失则很可能存在实现错误。
Hugging Face BlogAI 评分3030 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，跳过昂贵的预训练阶段。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练编码器-解码器模型的竞争性效果，训练成本仅为后者一小部分。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，提供开箱即用的超参数调优能力。在 RTE 数据集上微调 BERT 的实验中，Population-based Training 取得 70.5% 最佳测试准确率，优于网格搜索的 65.4% 和贝叶斯优化的 66.9%。
OpenAI News精选AI 评分6262 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：OpenAI 用人类反馈强化学习训练摘要模型，可了解 RLHF 在摘要任务上的早期应用思路。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 建模像素序列生成图像
OpenAI 发现，与在语言上训练的大 Transformer 模型一样，在像素序列上训练的同一模型也能生成连贯的图像补全和样本。研究通过建立样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一套 Transformer 架构处理像素序列，并给出生成质量与分类精度相关的证据，可看早期统一建模思路。
OpenAI News精选AI 评分8181 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布论文《Language models are few-shot learners》，提出语言模型具备少样本学习能力。原文正文抓取失败，仅标题可用。