BigCode 大规模近重复数据去重背后的技术
Hugging Face 博客详解 BigCode 项目采用 MinHash + LSH 进行大规模文档级近重复去重的方法，参数为 (256, 0.7, 5)。该方案已在 The Stack 代码数据集上验证，去重能提升代码模型性能并减少训练步数。文章还对比了 InCoder、CodeGen、AlphaCode 等模型所用的精确匹配与 MinHash 去重策略。
#开源/仓库
Hugging Face BlogAI 评分3434
Hugging Face Blog精选AI 评分6060 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 官方博客宣布，结合 RNN 与 Transformer 优势的 RWKV 架构已集成进 transformers 库，可通过源码或主分支使用。
推荐理由：Hugging Face 官方博客介绍 RWKV 架构并入 transformers 库，读者可了解其兼顾 RNN 推理效率与 Transformer 训练并行的设计思路。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成解码方法，可将文本生成延迟降低最多 10 倍
Hugging Face 发布辅助生成（assisted generation）解码方法，通过小模型生成候选 token、大模型一次前向验证，在消费级硬件上最多降低 10 倍延迟。
推荐理由：Hugging Face 官方详解辅助生成解码原理与 Transformers 用法，读者可据此判断低延迟文本生成的可行路径。
Hugging Face BlogAI 评分4242 Hugging Face 解读文本到视频模型：从 GAN 到扩散模型的发展与挑战
Hugging Face 发文梳理文本到视频模型的发展脉络，指出该任务比文本到图像更难，需保证帧间时空一致性，面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder 代码大模型
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型，基于 GitHub 宽松许可数据训练，覆盖 80 多种编程语言，参数规模约 15B、训练 1 万亿 token。
推荐理由：BigCode 公开了 StarCoder 的权重、训练数据与评测结果，读者可据此判断开源代码模型当时的能力水位。
Hugging Face BlogAI 评分4040 Databricks 向 Hugging Face 提交代码：LLM 训练与微调提速最高 40%
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 from_spark 函数，可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程，用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习，训练管线已集成到 TRL 库。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现或迁移到自己的模型对齐任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 trl 与 peft 集成，可在 24GB 消费级 GPU 上微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型，再用 peft 添加低秩适配器只训练少量参数，并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits，从而省去第二份模型副本。
推荐理由：trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径，可迁移到自有训练流程。
Hugging Face Blog精选AI 评分6262 Kakao Brain 与 Hugging Face 发布 ViT 和 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿图文对）以及基于该数据集训练的 ViT 和 ALIGN 视觉语言模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 开源了首个可复现的 ALIGN 模型及配套 7 亿图文对数据集，读者可据此了解开放数据对视觉语言模型复现的意义。
Hugging Face Blog精选AI 评分7878 Diffusers 集成 ControlNet，支持多种空间条件控制生成
Hugging Face 在 Diffusers 中集成 ControlNet，通过 StableDiffusionControlNetPipeline 支持 canny 边缘、OpenPose 姿态、深度图、分割图等多种空间条件控制图像生成。
推荐理由：Diffusers 官方给出 ControlNet 的完整接入方式与多种条件控制示例，可据此判断显存与速度开销。
Hugging Face BlogAI 评分4242 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至 2 倍
Hugging Face 为 Mac 推出原生应用 🧨Diffusers 1.1，基于 Core ML 运行 Stable Diffusion 等文生图模型，生成速度最高提升至 2 倍。该版本会自动根据设备选择 GPU 或神经引擎（ANE）加速，并新增模型下载指示、复用 seed 等功能，已在 Mac App Store 上线且完全开源。
Hugging Face BlogAI 评分5252 用 Hugging Face Transformers 上手 BLIP-2 零样本图像到文本生成
Hugging Face 博客介绍 Salesforce Research 的 BLIP-2 已集成进 Transformers，可用它完成图像描述、带提示词图像描述、视觉问答和对话式提示四类图像到文本任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 PEFT 库，支持 LoRA 等参数高效微调方法
Hugging Face 发布 PEFT 库，提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法，并与 Transformers 和 Accelerate 集成。
推荐理由：原文给出 PEFT 库支持的方法与消费级硬件上的微调示例，读者可据此判断低成本微调的可行路径。
Hugging Face BlogAI 评分4040 Hugging Face 在 Transformers 中集成 SpeechT5：语音合成、识别与更多任务
微软亚洲研究院的 SpeechT5 现已集成进 Hugging Face Transformers，官方 checkpoint 已发布在 Hugging Face Hub。
Hugging Face BlogAI 评分3636 Hugging Face 推出 AI vs. AI：深度强化学习多智能体竞赛系统
Hugging Face 发布开源工具 AI vs. AI，用于在多智能体环境中对强化学习模型进行排名。该工具托管于 Spaces，通过匹配算法让模型持续对战，并基于 ELO 评分系统（初始 1200 分）在 Leaderboard 上展示排名，用户将训练好的模型推送到 Hub 即可参与评估。
Hugging Face Blog精选AI 评分6767 用 LoRA 高效微调 Stable Diffusion：Hugging Face diffusers 教程
Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion，训练脚本最低只需 11 GB 显存，产出的新增权重文件约 3 MB，比原 UNet 小约一千倍。
推荐理由：Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的完整流程与显存、权重体积数据，可直接照做。
Hugging Face BlogAI 评分5252 Hugging Face Optimum 集成 ONNX Runtime 训练，模型训练提速最高 130%
Hugging Face 与 Microsoft ONNX Runtime 团队合作，在 Optimum 库中集成 ONNX Runtime 训练后端，为多种 Hugging Face 模型带来 35% 以上的训练提速。
Hugging Face BlogAI 评分4242 Hugging Face Hub 正式接入 PaddlePaddle 模型库
Hugging Face 与百度 PaddlePaddle 达成开源合作，PaddlePaddle 模型库将逐步集成至 Hugging Face Hub。目前 Hub 上已有超 75 个 PaddlePaddle 模型，包括 UIE、ERNIE 3.0、Ernie-Layout 等，并支持 Inference API 与交互式 Widget。
Hugging Face BlogAI 评分3838 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，介绍如何用 Transformers 和 Datasets 库构建图像相似度系统，实现反向图像搜索等信息检索场景。方案采用 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再用余弦相似度匹配候选图像，示例使用 Beans 数据集，也可替换为 Swin Transformer、ConvNeXT、RegNet 等视觉模型。
Hugging Face BlogAI 评分4444 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器，可生成粗略分割掩码，用于机器人感知、图像修复等任务，并支持文本或图像作为提示进行视觉提示。CLIPSeg 使用 352 x 352 像素图像，输出分辨率较低，如需更精细结果可在 Segments.ai 上微调优化。
Hugging Face BlogAI 评分3636 Hugging Face 发布模型卡创建工具与模型卡指南
Hugging Face 推出模型卡创建工具和模型卡指南，前者提供图形界面，无需编程或 Markdown 即可协作编写模型卡。同时发布更新版模型卡模板（集成于 huggingface_hub 库）和带注释模板，并附上用户研究与文献综述。
Hugging Face BlogAI 评分3838 从 GPT2 到 Stable Diffusion：Hugging Face 模型登陆 Elixir 社区
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现了 Hugging Face Transformers，将 GPT2 到 Stable Diffusion 等神经网络模型引入 Elixir。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 做概率时间序列预测
Hugging Face 博客介绍如何用 🤗 Transformers 库中的 Time Series Transformer 完成单变量概率时间序列预测。该模型基于 Encoder-Decoder Transformer 架构，通过 Ancestral Sampling 自回归生成预测，并支持将缺失值作为额外 mask 参与训练而无需插补。
Hugging Face BlogAI 评分4040 VQ-Diffusion：基于离散隐空间的扩散模型
中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上执行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并以编码器-解码器 Transformer 近似反向过程，一次前向即可预测全部未加噪隐变量的分布。
Hugging Face BlogAI 评分5858 Hugging Face 在 transformers 中引入对比搜索解码方法
Hugging Face 在 transformers 4.24.0 中加入对比搜索（Contrastive Search）解码方法，PyTorch 和 TensorFlow 均可用。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议
Hugging Face 用 🧨 Diffusers 的 Dreambooth 训练脚本做了大量实验，分析不同超参数对微调 Stable Diffusion 的影响并给出推荐设置。
推荐理由：基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议，可迁移到自己的训练流程。
Hugging Face BlogAI 评分3838 Hugging Face 在 Optimum Intel 中集成 OpenVINO，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel，用户可基于 OpenVINO 2022.2 在多种 Intel 处理器上对 Transformers 模型执行推理，并用 NNCF 在数分钟内完成量化以降低模型体积和预测延迟。
Hugging Face BlogAI 评分3838 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 推出日语专用文生图模型 Japanese Stable Diffusion，通过在约 1 亿张日语标注图像上微调 Stable Diffusion 实现，可理解日语特有词汇、拟声词与专有名词。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Evaluation on the Hub：大语言模型的零样本评估工具
Hugging Face 发布 Evaluation on the Hub，由 AutoTrain 驱动，无需写代码即可对 Hub 上任意因果语言模型做零样本评估，目前支持最高 660 亿参数模型，更大模型的支持即将推出。
Hugging Face Blog精选AI 评分6262 Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 撰文解释 Accelerate 如何借助 PyTorch 在内存和显存不足的消费级硬件上加载并运行超大模型。它先用 meta device 创建空模型并计算 device map，再按分片逐步加载权重，把层分配到多张 GPU、CPU 内存乃至磁盘，最后通过 hooks 在每次前向传播前后搬运权重。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载在有限显存下跑大模型的完整流程，可迁移到自己的推理部署。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程、RAFT 基准对比与 30 秒训练成本，读者可据此判断少样本分类的落地门槛。
Hugging Face BlogAI 评分5858 用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 做推理，并给出 8x80GB A100 上的吞吐基准。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 diffusers 0.3，新增图生图与文本反转等能力
Hugging Face 发布 diffusers 0.3，为扩散模型工具箱新增图生图、文本反转、实验性修复（inpainting）等流水线，并加入面向小显存的优化，Stable Diffusion 显存占用可降至 3.2GB，代价是约 10% 的速度损失。
推荐理由：diffusers 0.3 集中补齐图生图、文本反转、修复与低显存优化，可据此判断扩散模型工具链的成熟度。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Skops：将 scikit-learn 模型托管到 Hub
Hugging Face 发布新库 Skops，支持将 scikit-learn 模型托管到 Hugging Face Hub，并生成模型卡进行文档化与协作。Skops 后端使用 joblib 加载模型，可自动从配置文件提取任务名、库名等元数据填入模型卡，并支持通过 add_metrics、add_plot 添加评估指标与图表。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，对西班牙语、法语、阿拉伯语等多数语言是首个超过 100B 参数的语言模型。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，为研究大模型内部机制提供了少见的开放样本。
Hugging Face BlogAI 评分3838 Hugging Face 入门教程：使用 Embeddings 构建语义搜索
Hugging Face 发布 Embeddings 入门教程，演示如何用开源库 Sentence Transformers 和 Inference API 构建 FAQ 语义搜索。教程选用 sentence-transformers/all-MiniLM-L6-v2 模型，将美国 Medicare FAQ 数据集嵌入后上传至 Hub 免费托管，再通过比对用户查询与嵌入向量的相似度匹配最相关问答。
Hugging Face BlogAI 评分4040 Intel 加入 Hugging Face 硬件合作伙伴计划，联合推出 Optimum Intel 加速库
Intel 正式加入 Hugging Face 硬件合作伙伴计划，双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案，覆盖训练、微调和推理。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：用 Deep Q-Learning 玩 Space Invaders
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning，用神经网络替代 Q-table 来近似每个动作的 Q 值，并在 Space Invaders 等 Atari 环境上训练智能体。该方法将输入降采样为 84x84 灰度图并堆叠 4 帧以捕捉时序信息，再经三层卷积层和全连接层输出 Q 值，训练使用 RL-Zoo 框架。
Hugging Face Blog精选AI 评分6262 图解扩散模型：用 PyTorch 从零实现 DDPM
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文和 Phil Wang 的实现，用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由：以 PyTorch 逐步实现 DDPM 的完整教程，适合想从代码层面理解扩散模型原理的读者。
Hugging Face BlogAI 评分3636 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。