如何在 Hugging Face Spaces 上用 3Dmol.js 可视化蛋白质
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构,应用可接受 4 位 PDB 代码或上传 PDB 文件,从 RCSB 蛋白数据库获取并展示结构。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构,应用可接受 4 位 PDB 代码或上传 PDB 文件,从 RCSB 蛋白数据库获取并展示结构。
Hugging Face 发布教程,介绍如何用 diffusers 库运行 Stable Diffusion,并解释其潜空间扩散模型的工作原理。
推荐理由:Hugging Face 官方给出 Stable Diffusion 在 diffusers 中的完整用法与原理拆解,可据此理解潜空间扩散的组件分工。
Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate,使 BLOOM-176B 等大模型显存占用减半且推理性能几乎无损。
推荐理由:Hugging Face 官方详解 LLM.int8() 量化原理与 transformers 集成细节,可了解大模型显存减半的落地方式。
Hugging Face 阐述了其 transformers 库对 TensorFlow 的设计理念:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。
Hugging Face 发布 Sentence Transformers 训练与微调教程,讲解如何从零构建或从 Hub 加载模型,并以 distilroberta-base 加池化层为例说明其两层结构。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),通过裁剪当前与旧策略的概率比至 [1−ϵ,1+ϵ] 区间来限制策略更新幅度,避免训练不稳定。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具,支持以安全合规的方式协作开发与部署。PH 基于拥有 60K+ 模型、6K 数据集和 6K 演示应用的 Hugging Face Hub,模型、数据集和 Space 均为 Git 仓库,支持版本控制、pull request 和讨论。
Hugging Face 于 2022 年 6 月下旬就美国白宫 OSTP 与 NSF 的 NAIRR 实施路线图征询提交回应,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准、为跨学科非技术专家提供低代码或无代码工具,并投资 Responsible AI Licenses 以应对资源滥用。
Hugging Face 详解 176B 参数多语言模型 BLOOM 的训练技术:基于 Megatron-DeepSpeed 的 3D 并行方案,使用 384 张 80GB A100 GPU、350B token 的 46 种语言数据,训练耗时约 3.5 个月。模型架构接近 GPT3 并做了若干改进,词表规模 250,680,训练在法国 Jean Zay 超算上完成。
作者用 Sentence Transformers 的语义搜索功能搭建了一个歌单生成器:将提示词编码为嵌入向量,在预生成的歌词嵌入中检索,再通过 Gradio Blocks 构建多步交互应用并托管在 Hugging Face Spaces。
Hugging Face 发布入门指南,以 Sentence Transformers(ST)为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量,并用 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等应用。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目依赖它。
Hugging Face 博客介绍了三种将 Transformers 模型转为 ONNX 的方式,从底层 torch.onnx、中层 transformers.onnx 到高层 Optimum,均以 distilbert-base-uncased-finetuned-sst-2-english 文本分类模型为例。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批针对 Graphcore IPU 优化的 Transformer 模型,可用的模型从 BERT 扩展到 10 个,覆盖 NLP、语音和计算机视觉。
Hugging Face Hub 上线 Pull Requests 和 Discussions,所有模型、数据集和 Spaces 仓库的社区标签页均可使用,任何社区成员都能发起和参与。其 PR 不依赖 fork 和分支,而是使用直接存储在源仓库上的自定义 ref 分支,并将 issue 与 PR 合并展示在同一列表中。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning 算法,并从头实现首个 RL 智能体。该算法属于 off-policy 的基于价值方法,采用 TD 方式训练动作价值函数,内部维护一张 Q-table 存储每个状态-动作对的价值。智能体将在 Frozen Lake v1 和自动驾驶出租车两个环境中训练,为第三单元的 Deep Q-Learning 打基础。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出了内容政策中要防止的滥用场景,包括生成虚假信息、生成个人身份信息以及在医疗、法律、金融等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项项目价值观,并承认这些价值观之间可能存在冲突,需逐案权衡。
Hugging Face 宣布启动 Fellowship 计划,由团队或现任 Fellow 提名,面向推动开源机器学习民主化的贡献者。计划按个人需求提供算力资源、周边物料和官方认可,首批 Fellow 包括创建西语 NLP 社区的 María Grandury 和向 Hub 贡献超 300 个模型的 Manuel Romero。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与。官方称平台已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其产品,团队在过去 12 个月从 30 人增至 120 多人。资金将用于加大研究、开源、产品投入以及负责任地推动 AI 民主化。
推荐理由:Hugging Face 官方披露 C 轮融资规模、投资方与平台模型数据集数量,可据此了解其开源生态位置。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖 RL 框架、马尔可夫决策过程、策略与价值方法等核心概念。课程使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库,并让学员训练首个登月着陆器智能体并上传至 Hugging Face Hub。
Hugging Face 介绍如何用 Accelerate 库无需改代码即可调用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师三类人群,提供 NLP、深度强化学习、Gradio 交互式 demo 等免费课程,以及已翻译成 8 种语言的教师工具包。此前 3 月的 ML demo.cratization tour 已为 16 个国家超 1000 名学生授课。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了与 Leandro von Werra、Thom Wolf 合著的《NLP with Transformers》,并讲述自己在 transformers 库中推动 ONNX 导出功能,让用户只需一行代码即可将 PyTorch 模型转换格式,从而获得更低延迟和更高吞吐。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face 的 Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略",即模型前向传播所需的全部代码只放在一个 model 文件中,如 BERT 的 modeling_bert.py。原因是该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快且模型发布后基本静态不变,集中抽象反而会带来维护与命名难题。
Hugging Face 开放申请为期 9 个月的 AI Research Residency Program,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。项目为全职,申请截止 2022 年 4 月 3 日,无需搬迁,欢迎各类背景申请者。
Hugging Face 发布教程,演示如何用自建人行道数据集 segments/sidewalk-semantic 微调 SegFormer 语义分割模型,用于披萨配送机器人识别可行驶区域与障碍物。
Google AI Language 于 2018 年推出 BERT,这一基于 Transformer 的双向编码器模型可同时处理 11+ 种常见 NLP 任务,并在多项任务上超越此前模型。
Hugging Face 发布教程,介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型,在 NVIDIA T4 GPU 实例(约 500 美元/月)上实现可扩展的实时推理。
Hugging Face 与 Graphcore 合作推出开源库 Optimum,让 Transformer 模型更易在多种硬件上降低预测延迟,首个 IPU 优化模型为 BERT。
Hugging Face 发布教程,演示如何用 🤗 Transformers 将预训练模型 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别。教程以 Common Voice 土耳其语数据集为例,仅用约 4 小时验证训练数据,采用 CTC 算法微调,并用 WER 指标评估。
Hugging Face 发文指出,2021 年 State of AI Report 与 Kaggle 调查显示 Transformer 已从 NLP 扩展为通用 ML 架构,在语音、视觉、点云等任务上表现优异,其使用率逐年上升,而 RNN、CNN 和梯度提升算法持续下滑。
Hugging Face 发布夏季回顾,Hub 上的公开模型仓库从 1 万个增至超过 1.6 万个,并推出可直接托管 ML 演示应用的 Spaces Beta,支持 Gradio 和 Streamlit。
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划,Graphcore 作为创始成员参与,双方将合作为 Intelligence Processing Unit(IPU)优化 Transformer 模型。
Hugging Face 发文详解 BigBird 的块稀疏注意力机制,该模型通过滑动注意力、全局 token 和随机 token 三种方式近似 BERT 的完整注意力,可处理长达 4096 的序列,计算成本远低于 BERT,并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已集成到 Transformers 中。
Hugging Face 与 Amazon 宣布战略合作,Hugging Face 将 AWS 作为首选云服务商,并推出 Hugging Face Deep Learning Containers(DLCs),让用户可在 Amazon SageMaker 中训练 Transformer 模型。
Hugging Face 发布教程,演示如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型完成英语 ASR。Wav2Vec2 于 2020 年 9 月发布,基于超 5 万小时无标注语音预训练,仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER。
Hugging Face 月度阅读小组 2021 年 2 月聚焦长程注意力,围绕 Longformer、Compressive Transformer、Linformer、Performer 四篇论文梳理降低 Transformer 序列长度二次开销的四条路线:自定义注意力模式、循环、低秩近似与核近似。
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索,每次检索调用相比 torch.distributed 提速 2 倍,并改善了 RAG 分布式微调的可扩展性。
Hugging Face 与 PyTorch / XLA 团队合作,让用户通过相同的 Trainer 接口在 Cloud TPU 上训练和扩展 Transformer 模型。