跳到正文
3月9日周四
  1. Hugging Face Blog62

    Hugging Face 将 trl 与 peft 集成,可在 24GB 消费级 GPU 上微调 20B 大模型

    Hugging Face 官方发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型,再用 peft 添加低秩适配器只训练少量参数,并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits,从而省去第二份模型副本。

    推荐理由:trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径,可迁移到自有训练流程。

3月6日周一
  1. Hugging Face Blog62

    Kakao Brain 与 Hugging Face 发布 ViT 和 ALIGN 模型及 COYO 数据集

    Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿图文对)以及基于该数据集训练的 ViT 和 ALIGN 视觉语言模型,这是 ALIGN 模型首次免费开源,也是 ViT 和 ALIGN 首次附带训练数据集发布。

    推荐理由:Kakao Brain 开源了首个可复现的 ALIGN 模型及配套 7 亿图文对数据集,读者可据此了解开放数据对视觉语言模型复现的意义。

3月3日周五
  1. Hugging Face Blog62

    用机器学习援助土耳其地震幸存者:afetharita 的模型与部署实践

    2023 年 2 月 6 日土耳其东南部发生 7.7 和 7.6 级地震后,一群程序员在 Discord 上协作开发了名为 afetharita(灾害地图)的应用,用于从幸存者的推文和截图中提取地址与需求信息,供搜救队和志愿者使用。

    推荐理由:作者以志愿者身份复盘土耳其地震救援中的模型选型与部署流程,可迁移到快速搭建应急类 ML 应用。

3月2日周四
  1. Hugging Face Blog22

    Hugging Face 发布 Diffusers 库开发伦理准则

    Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随时间与社区反馈持续调整。准则涵盖透明、一致、简洁、可访问、可复现与责任六项价值观,同时列出 Community tab、Tag 标记、偏见探索与评估等安全功能,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署安全机制。

3月1日周三
2月24日周五
  1. Hugging Face Blog42

    Hugging Face 发布 Swift 🧨Diffusers 1.1:Mac 原生 Stable Diffusion 应用提速至 2 倍

    Hugging Face 为 Mac 推出原生应用 🧨Diffusers 1.1,基于 Core ML 运行 Stable Diffusion 等文生图模型,生成速度最高提升至 2 倍。该版本会自动根据设备选择 GPU 或神经引擎(ANE)加速,并新增模型下载指示、复用 seed 等功能,已在 Mac App Store 上线且完全开源。

2月23日周四
  1. Hugging Face Blog20

    Fetch 借助 Hugging Face 与 AWS 整合 AI 工具,开发时间节省 30%

    消费者奖励公司 Fetch 借助 AWS 合作伙伴 Hugging Face 的专家加速计划,将原本依赖第三方黑盒的票据处理方案改为自研 AI/ML 模型,开发时间缩短 30%。其平台基于 Amazon SageMaker 和 AWS Inferentia 构建,每天可处理超 1100 万张收据,处理延迟降低 50%,服务 1800 万月活用户。

2月21日周二
2月15日周三
  1. Hugging Face Blog27

    我们为何转向 Hugging Face Inference Endpoints,或许你也该考虑

    Hugging Face 推出托管服务 Inference Endpoints,可将 Hub 上的模型部署到 AWS 等云端的多种实例类型(含 GPU)。团队将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移过去,部署流程从六步简化为三步。测试显示 large 实例延迟约 80ms,比原方案快一倍以上,但成本高出 24% 至 50%。

2月10日周五
2月8日周三
2月7日周二
  1. Hugging Face Blog28

    用 AI 生成游戏剧情:ChatGPT 在农场游戏开发中的实践与局限

    Hugging Face 博客"AI for Game Development"系列第 5 篇展示了用 ChatGPT 为农场游戏生成剧情:先让模型写故事梗概,结果与《星露谷物语》高度雷同,经多轮要求"更有原创性"并去除魔法元素后才可用。作者指出语言模型易复现已有故事、长文本易重复,直接使用 AI 输出可能带来法律、伦理与商业风险,建议仅用于头脑风暴,最终内容手写。

2月6日周一
2月3日周五
  1. Hugging Face Blog36

    Hugging Face 博客:深入解析视觉-语言模型的训练方法

    Hugging Face 发布博客深入解析视觉-语言模型的训练策略,涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练方法等五类预训练目标。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图像与文本映射到同一特征空间,并介绍如何用 🤗 Transformers 上手这些模型。

1月30日周一
1月26日周四
1月24日周二
1月20日周五
1月19日周四
  1. Hugging Face Blog42

    Hugging Face transformers 集成 Mask2Former 与 OneFormer,统一图像分割

    Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 用同一架构解决实例、语义和全景分割,但需分任务训练;OneFormer 仅在全景数据上训练一次即可在三个任务上达到 SOTA,代价是额外的文本编码器带来更高延迟。作者已发布 30 个基于不同数据集训练的 checkpoint。

1月17日周二
1月16日周一
  1. Hugging Face Blog38

    用 Hugging Face Datasets 和 Transformers 构建图像相似度系统

    Hugging Face 发布教程,介绍如何用 Transformers 和 Datasets 库构建图像相似度系统,实现反向图像搜索等信息检索场景。方案采用 ViT 模型(nateraw/vit-base-beans)提取图像嵌入向量,再用余弦相似度匹配候选图像,示例使用 Beans 数据集,也可替换为 Swin Transformer、ConvNeXT、RegNet 等视觉模型。

1月9日周一
  1. Hugging Face Blog22

    AI 用于游戏开发:5 天做出农场游戏(第 2 部分)

    Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助游戏设计,作者以 5 天开发农场游戏为例,让 ChatGPT 以专业游戏设计师身份给出作物多样性、进阶系统、社交玩法等建议,并据此灰盒实现了前两项。文章同时说明 ChatGPT 基于 Transformer 与 RLHF,常言之凿凿却出错,宜作头脑风暴与加速工具而非开发流程的替代品。

1月3日周二
1月2日周一
12月21日周三
  1. Hugging Face Blog44

    用 CLIPSeg 实现零样本图像分割

    Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持文本或图像作为提示进行视觉提示。CLIPSeg 使用 352 x 352 像素图像,输出分辨率较低,如需更精细结果可在 Segments.ai 上微调优化。

12月20日周二
12月15日周四
  1. Hugging Face Blog41

    Hugging Face 谈机器学习中的偏见:伦理与社会通讯第2期

    Hugging Face 伦理与社会团队发布第二期通讯,讨论机器学习中的偏见问题,指出偏见普遍且复杂,单一技术手段难以有效解决。文章强调 ML 模型作为社会技术系统会放大社会趋势,需结合部署场景持续监测,并介绍了团队开发的偏见分析工具,覆盖任务定义、数据集整理和模型训练各阶段。

  2. Hugging Face Blog34

    Hugging Face 音频数据集完全指南:用 🤗 Datasets 一行代码加载与处理

    Hugging Face 发布音频数据集使用指南,介绍如何通过 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。目前 Hub 上已有 77 个语音识别数据集和 28 个音频分类数据集,并支持 Dataset Preview 在线试听样本。以 GigaSpeech 为例,其提供从 xs(10 小时)到 xl(10,000 小时)五种规模配置。

12月14日周三
12月9日周五
  1. Hugging Face Blog62

    图解基于人类反馈的强化学习 RLHF

    Hugging Face 发布图解 RLHF 的教程文章,把训练流程拆成预训练语言模型、收集偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文章指出奖励模型输出标量奖励,训练时用 KL 散度惩罚约束策略偏离初始模型,并介绍了 TRL、TRLX、RL4LMs 等开源 RLHF 工具。文中还提到人类标注成本高、标注者意见不一致等局限,以及离线 RL、ILQL 等尚未充分探索的方向。

    推荐理由:把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并梳理了开源实现与已知局限,适合作为入门框架参考。

12月2日周五
  1. Hugging Face Blog28

    蛋白质深度学习入门:从语言模型到 ESMFold 蛋白质折叠

    Hugging Face 发布面向生物学家与机器学习者的蛋白质深度学习入门文章,并附上微调蛋白质语言模型(PyTorch、TensorFlow)和用 ESMFold 做蛋白质折叠(仅 PyTorch)的示例 notebook。文章从 2018 年 ULMFiT 与 BERT 讲起,说明迁移学习如何把预训练知识复用到新任务,并指出其效果常相当于 100 倍以上的训练数据。

12月1日周四