跳到正文
5月16日周一
  1. Hugging Face Blog62

    Gradio 3.0 发布,推出 Blocks 低层 API

    Gradio 发布 3.0 版本,对库进行彻底重设计,前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类。

    推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。

5月10日周二
5月6日周五
3月28日周一
3月16日周三
  1. Hugging Face Blog22

    用 🤗 datasets 构建图像搜索应用

    Hugging Face 的 🤗 datasets 现已支持图像特征类型,可结合 sentence_transformers 与 faiss 为图像数据集添加相似度索引,实现图像搜索。文中以英国图书馆数字化书籍插图数据集为例,通过 ImageFolder 加载器直接读取含 image 和 label 特征的 10000 行数据,并演示了提取图像文件名等元数据的方法。

3月11日周五
  1. Hugging Face Blog38

    在 🤗 Transformers 中用约束束搜索引导文本生成

    Hugging Face 在 🤗 Transformers 中推出约束束搜索(constrained beam search),通过 model.generate() 的 force_words_ids 参数让用户指定生成结果中必须包含的词。该功能支持强制单个词、多个短语以及析取约束(在候选词列表中至少包含一个),可在生成阶段直接控制输出,无需事后再筛选。

1月25日周二
1月21日周五
1月12日周三
12月23日周四
12月21日周二
  1. Hugging Face Blog62

    Gradio 加入 Hugging Face

    Hugging Face 收购机器学习初创公司 Gradio,Gradio 联合创始人以第一人称宣布这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布,用于让机器学习工程师快速构建和分享模型 demo,目前已有超过 30 万个 demo 基于该库搭建。作者表示加入 Hugging Face 后将继续发展 Gradio,让任何有浏览器和网络的人都能使用机器学习,并提到团队正在招聘。

    推荐理由:Gradio 创始人以第一人称讲述被 Hugging Face 收购的经过,并回顾该库从 2019 年起步到 30 万 demo 的历程。

12月15日周三
  1. Hugging Face Blog62

    Hugging Face 将 Perceiver IO 加入 Transformers,支持任意模态

    Hugging Face 在 Transformers 库中加入 Perceiver IO,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,并随附示例 Space 与 notebook。

    推荐理由:Hugging Face 把 Perceiver IO 接入 Transformers,读者可了解这套架构如何用 latent 空间统一处理文本、图像、音频与光流。

12月8日周三
  1. Hugging Face Blog62

    从零训练代码生成模型 CodeParrot

    Hugging Face 发布教程,介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型,用于自动补全 Python 代码。作者从 Google BigQuery 的 GitHub dump 中筛选出 180GB、2000 万个 Python 文件,去重并按 Codex 论文的清洗规则处理后得到 50GB 数据集 codeparrot-clean。

    推荐理由:完整拆解了从数据清洗、tokenizer 训练到多卡训练循环的每一步,可迁移到自建代码生成模型的流程。

12月2日周四
  1. Hugging Face Blog22

    Hugging Face 推出首个 ML-Agents 环境 Snowball Fight

    Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,基于 Unity ML-Agents 构建,玩家可与深度强化学习智能体对战投掷雪球,游戏托管在 Hugging Face Spaces 并可在线游玩。训练环境已开源发布在 Hugging Face Hub,后续将推出使用 MA-POCA 算法的 2vs2 协作版本及更多自定义环境。

11月29日周一
  1. Hugging Face Blog38

    Hugging Face 推出 Data Measurements Tool:交互式数据集分析工具

    Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 及 Streamlit 构建,可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标,帮助数据集创建者和用户进行负责任的数据开发。

10月25日周一
  1. Hugging Face Blog50

    Hugging Face 用 10 亿句对训练句嵌入模型

    Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型,硬件为 7 块 TPU v3-8,并获 Google Flax、JAX 与 Cloud 团队指导。训练采用对比学习与 in-batch negatives(InfoNCE/NTXentLoss),通过增大 batch、引入 hard negatives 和跨数据集批次提升质量。所有模型与数据集已在模型卡中公开。

10月13日周三
  1. Hugging Face Blog22

    用遥感(卫星)图像和描述微调 CLIP

    一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP,让模型能按文本描述检索卫星图像。训练采用对比学习,并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合,评估显示增强后过拟合明显下降。模型已开放下载,并提供在线 demo。

9月14日周二
  1. Hugging Face Blog62

    Hugging Face 发布开源优化工具库 Optimum

    Hugging Face 发布开源库 Optimum,目标是成为 Transformer 生产性能的优化工具包,让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建,首个案例是与 Intel 的 Neural Compressor 配合,演示如何为 Intel Xeon CPU 量化模型。

    推荐理由:Hugging Face 官方开源 Optimum,读者可了解它如何把模型加速与硬件适配的复杂度封装起来。

7月28日周三
7月15日周四
  1. Hugging Face Blog62

    Hugging Face 提出 DeDLOC:40 名志愿者协作预训练孟加拉语模型 sahajBERT

    Hugging Face 博客介绍 DeDLOC 协作分布式训练方法,通过自适应梯度聚合适应参与者的网络与硬件差异,并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。

    推荐理由:DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型,为算力受限的社区提供了一条可复现的协作训练路径。

7月13日周二
6月28日周一
4月16日周五
  1. Hugging Face Blog60

    Hugging Face 发布 Accelerate 库,五处改动让 PyTorch 训练脚本支持分布式与混合精度

    Hugging Face 发布 Accelerate 库,面向希望保留训练循环控制权的 PyTorch 用户,用统一 API 封装分布式训练(单机或多机多 GPU、TPU)与混合精度所需的样板代码。

    推荐理由:原文给出五处代码改动即可跑分布式与混合精度的具体做法,便于对照现有 PyTorch 训练脚本评估迁移成本。

11月9日周一
  1. Hugging Face Blog30

    如何用预训练语言模型检查点热启动编码器-解码器模型

    Hugging Face 发布教程,介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型,跳过昂贵的预训练阶段。基于 Rothe et al. (2020) 的方法,这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练编码器-解码器模型的竞争性效果,训练成本仅为后者一小部分。

11月3日周二
9月10日周四
  1. Hugging Face Blog38

    Hugging Face 发布 pytorch_block_sparse:用块稀疏矩阵让语言模型更小更快

    Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse,其 BlockSparseLinear 可直接替换 torch.nn.Linear,让语言模型更小更快。该库基于 NVIDIA CUTLASS 的块稀疏矩阵乘法,75% 稀疏度下矩阵运算约比稠密快 2 倍、内存占用减少 4 倍,但当前整体性能仍比 cuBLAS 稠密实现慢约 2 倍。

4月30日周四
  1. OpenAI News62

    OpenAI 发布音乐生成神经网络 Jukebox 并开源模型权重与代码

    OpenAI 发布 Jukebox,一个能生成音乐并以原始音频形式输出、包含初级演唱的神经网络,覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码,并提供用于查看生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可据此了解早期音乐生成模型的开源形态。

4月14日周二
11月21日周四
11月5日周二
  1. OpenAI News80

    OpenAI 发布 GPT-2 最大版本 1.5B 及代码与模型权重

    OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即参数量 1.5B 的最大版本,并同时开放代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。OpenAI 希望该案例对未来的强大模型开发者有用,并继续与 AI 社区就负责任发布展开讨论。

    推荐理由:OpenAI 公布 GPT-2 分阶段发布的最后一步,读者可了解其负责任发布流程的完整案例。

8月20日周二
  1. OpenAI News78

    OpenAI 发布 774M 参数 GPT-2 模型

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,便于机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。

    推荐理由:OpenAI 分阶段放出 GPT-2 最大版本,并公开模型共享法律协议,可观察大模型发布与风险管控的早期做法。

3月4日周一
12月6日周四
11月8日周四
7月9日周一
5月25日周五
2月26日周一
12月6日周三
8月18日周五
8月3日周四