Hugging Face 推理方案概览:从免费 Inference API 到 Inference Endpoints
Hugging Face 梳理了其推理方案:模型页内置免费 Inference Widget,底层由免费 Inference API 驱动,可通过 HTTP 请求调用任意 Hub 模型,但因限流不建议用于生产。
Hugging Face 梳理了其推理方案:模型页内置免费 Inference Widget,底层由免费 Inference API 驱动,可通过 HTTP 请求调用任意 Hub 模型,但因限流不建议用于生产。
Hugging Face 与 arXiv 合作,将 Spaces 通过 arXivLabs 集成到论文页面,新增 Demo 标签页,可直接链接社区或作者创建的开源演示。自 2021 年 10 月上线以来,Spaces 已托管超过 12,000 个开源机器学习演示,基于 Gradio 和 Streamlit 构建。以 BERT 论文为例,其 arXiv 页面已可找到 200 多个相关演示。
Hugging Face 宣布下线 Inference API 的付费层,该服务仍对所有人免费开放,同时推出面向企业级高速推理的新产品 Inference Endpoints。Spaces 也获得硬件升级,可选择自定硬件运行 ML demo,这些服务无需订阅,只需在账单设置中绑定信用卡。所有付费服务按月计费并生成合并发票,账单页面可管理 PRO 订阅、更新支付方式并查看近三个月用量。
OpenAI 宣布 DALL·E API 进入公开测试阶段,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel,用户可基于 OpenVINO 2022.2 在多种 Intel 处理器上对 Transformers 模型执行推理,并用 NNCF 在数分钟内完成量化以降低模型体积和预测延迟。
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI,该功能与 DataCite 合作实现,注册用户填写元数据后即可获得,他人可通过模型或数据集页面的“Cite this model/dataset”按钮引用。DOI 绑定对象的 URL、版本、创建日期等元数据,提供永久链接,模型或数据集新版本发布时 DOI 可更新,旧版本 DOI 随之失效。
Hugging Face 发布 Evaluation on the Hub,由 AutoTrain 驱动,无需写代码即可对 Hub 上任意因果语言模型做零样本评估,目前支持最高 660 亿参数模型,更大模型的支持即将推出。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及对安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 等待名单,读者可了解其安全系统改进后开放范围的变化。
Hugging Face AutoTrain 新增图像分类任务,用户无需编写代码即可训练模型。上传数据后,AutoTrain 自动尝试多个模型架构,示例中最佳模型达到 84% 准确率,5 个候选模型加 500 张以内图片的训练免费。
Hugging Face 发布 diffusers 0.3,为扩散模型工具箱新增图生图、文本反转、实验性修复(inpainting)等流水线,并加入面向小显存的优化,Stable Diffusion 显存占用可降至 3.2GB,代价是约 10% 的速度损失。
推荐理由:diffusers 0.3 集中补齐图生图、文本反转、修复与低显存优化,可据此判断扩散模型工具链的成熟度。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于扩展画面并讲述更完整的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting 能力,读者可了解图像生成从单张出图扩展到任意尺寸续画。
Hugging Face 发布新库 Skops,支持将 scikit-learn 模型托管到 Hugging Face Hub,并生成模型卡进行文档化与协作。Skops 后端使用 joblib 加载模型,可自动从配置文件提取任务名、库名等元数据填入模型卡,并支持通过 add_metrics、add_plot 添加评估指标与图表。
OpenAI 发布新版内容审核工具 Moderation endpoint,改进此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具,支持以安全合规的方式协作开发与部署。PH 基于拥有 60K+ 模型、6K 数据集和 6K 演示应用的 Hugging Face Hub,模型、数据集和 Space 均为 Git 仓库,支持版本控制、pull request 和讨论。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增端到端加载与处理示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 以便用 TensorFlow 或 Keras 训练。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:官方公布 DALL·E 测试版开放节奏与免费额度、付费增量,可据此了解早期图像生成产品的定价方式。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集和指标评测模型。评测结果会以 PR 形式写入模型卡的元数据,并可在数据集页查看排行榜;官方已用该工具评测数百个模型并提交了对应 PR。工具支持为任务寻找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型三种场景。
推荐理由:Hugging Face 把模型评测做成 Hub 上的一键流程,读者可了解免代码评测与结果写入模型卡的做法。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案,覆盖训练、微调和推理。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批针对 Graphcore IPU 优化的 Transformer 模型,可用的模型从 BERT 扩展到 10 个,覆盖 NLP、语音和计算机视觉。
Hugging Face Hub 上线 Pull Requests 和 Discussions,所有模型、数据集和 Spaces 仓库的社区标签页均可使用,任何社区成员都能发起和参与。其 PR 不依赖 fork 和分支,而是使用直接存储在源仓库上的自定义 ref 分支,并将 issue 与 PR 合并展示在同一列表中。
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持,覆盖多种使用场景。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期已生成超 300 万张图像,并给出每周新增 1000 名候补用户的节奏。
Gradio 发布 3.0 版本,对库进行彻底重设计,前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime。用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx,并配合 ORTQuantizer、ORTOptimizer 完成量化与优化。
fastai 现已集成 Hugging Face Hub,用户只需一行 Python 代码即可上传和共享模型。使用 `push_to_hub_fastai` 上传 Learner,再用 `from_pretrained_fastai` 加载,需安装 fastai>=2.4、fastcore>=1.3.27 和 toml。上传后自动生成模型卡,并支持基于 git 的版本控制。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布九个 Gym 环境连续控制任务的预训练模型 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
OpenAI 在 API 中新增 embeddings 端点,用于处理自然语言与代码任务,包括语义搜索、聚类、主题建模和分类。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可了解语义搜索、聚类与分类等任务的接入方式。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face 公布 Infinity 在 Amazon EC2 C6i(Intel Ice Lake)实例上的端到端推理基准:优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%,相比 Cascade Lake 实例最高提升 34%。
OpenAI 为 GPT-3 推出微调功能,用户只需一条命令即可针对自己的应用定制模型。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,基于 Unity ML-Agents 构建,玩家可与深度强化学习智能体对战投掷雪球,游戏托管在 Hugging Face Spaces 并可在线游玩。训练环境已开源发布在 Hugging Face Hub,后续将推出使用 MA-POCA 算法的 2vs2 协作版本及更多自定义环境。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 及 Streamlit 构建,可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标,帮助数据集创建者和用户进行负责任的数据开发。
OpenAI 宣布其 API 不再需要等待名单即可使用,官方称更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI 官方宣布 API 取消等待名单,读者可据此了解其开放范围与安全进展的关系。
Hugging Face 课程第二部分将于 11 月 15 日发布,聚焦 token 分类、语言建模、翻译、摘要和问答等常见 NLP 任务,并深入讲解 Datasets 与 Tokenizers。配套社区活动包含两天讲座和团队项目,AWS 通过 Amazon SageMaker 提供免费算力,完成项目者可获结业证书。
Hugging Face 发布开源库 Optimum,目标是成为 Transformer 生产性能的优化工具包,让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建,首个案例是与 Intel 的 Neural Compressor 配合,演示如何为 Intel Xeon CPU 量化模型。
推荐理由:Hugging Face 官方开源 Optimum,读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
OpenAI 发布改进版 Codex,这一 AI 系统可将自然语言转换为代码,即日起通过 API 以私有测试形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并以私有测试形式开放 API,可据此了解自然语言转代码能力的接入方式。
OpenAI 发布 Triton 1.0,这是一门开源的类 Python 编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,多数情况下能达到专家水准。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face Hub 现已支持托管和分享 spaCy 的 NLP 流水线,用户可通过单条命令上传任意 pipeline 包,并自动生成模型卡和元数据。