Hugging Face 多模态学习团队发布伦理章程,将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出了内容政策中要防止的滥用场景,包括生成虚假信息、生成个人身份信息以及在医疗、法律、金融等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项项目价值观,并承认这些价值观之间可能存在冲突,需逐案权衡。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出了内容政策中要防止的滥用场景,包括生成虚假信息、生成个人身份信息以及在医疗、法律、金融等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项项目价值观,并承认这些价值观之间可能存在冲突,需逐案权衡。
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建了自动分类并回复患者短信的 NLP 流水线,上线数周后近 20% 的入站消息由系统自动处理。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,并区分蒙特卡洛与时序差分学习。内容涵盖状态价值函数、动作价值函数与贝尔曼方程,为下一部分实现首个 Q-Learning 智能体、在 Frozen-Lake-v1 和自动驾驶出租车环境中训练做准备。
Hugging Face 研究科学家 Sasha Luccioni 在播客中介绍其工作:她担任 Big Science 碳足迹工作组联合主席,研究语言模型训练的环境影响,包括 GPU 小时之外的制造与人员投入成本,并参与数据治理与多语言工作。她此前曾与 Yoshua Bengio 合作开展 AI for climate change 项目,并联合创立 Climate Change AI。
Hugging Face 宣布启动 Fellowship 计划,由团队或现任 Fellow 提名,面向推动开源机器学习民主化的贡献者。计划按个人需求提供算力资源、周边物料和官方认可,首批 Fellow 包括创建西语 NLP 社区的 María Grandury 和向 Hub 贡献超 300 个模型的 Manuel Romero。
Gradio 发布 3.0 版本,对库进行彻底重设计,前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。
Hugging Face 博客发布《机器学习总监洞察》系列第二部分 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime。用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx,并配合 ORTQuantizer、ORTOptimizer 完成量化与优化。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与。官方称平台已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其产品,团队在过去 12 个月从 30 人增至 120 多人。资金将用于加大研究、开源、产品投入以及负责任地推动 AI 民主化。
推荐理由:Hugging Face 官方披露 C 轮融资规模、投资方与平台模型数据集数量,可据此了解其开源生态位置。
fastai 现已集成 Hugging Face Hub,用户只需一行 Python 代码即可上传和共享模型。使用 `push_to_hub_fastai` 上传 Learner,再用 `from_pretrained_fastai` 加载,需安装 fastai>=2.4、fastcore>=1.3.27 和 toml。上传后自动生成模型卡,并支持基于 git 的版本控制。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖 RL 框架、马尔可夫决策过程、策略与价值方法等核心概念。课程使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库,并让学员训练首个登月着陆器智能体并上传至 Hugging Face Hub。
Hugging Face 介绍如何用 Accelerate 库无需改代码即可调用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类:AutoTrain 自动完成数据清洗、模型选择和超参数优化,支持二分类与多标签文本分类等任务;Kili 提供协作式标注工具和 GraphQL、Python API。
Hugging Face 发布系列文章,邀请多位机器学习总监分享 ML 在媒体、制药等行业的落地经验。BuzzFeed 的 Archi Mitra 指出媒体 ML 需平衡隐私、编辑方针与推荐算法,强生 Li Tan 则强调制药领域 AI 应用需确保训练集对各族群的公平代表性。
Hugging Face 发布博客,演示如何用其生态工具搭建客户服务情感分类系统,自动筛选最不满意的客户消息。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师三类人群,提供 NLP、深度强化学习、Gradio 交互式 demo 等免费课程,以及已翻译成 8 种语言的教师工具包。此前 3 月的 ML demo.cratization tour 已为 16 个国家超 1000 名学生授课。
Hugging Face Hub 新增 emissions_threshold 参数,可按训练碳排放量筛选模型,例如筛选出 191 个排放不超过 100 克的模型。transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了与 Leandro von Werra、Thom Wolf 合著的《NLP with Transformers》,并讲述自己在 transformers 库中推动 ONNX 导出功能,让用户只需一行代码即可将 PyTorch 模型转换格式,从而获得更低延迟和更高吞吐。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face 的 Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略",即模型前向传播所需的全部代码只放在一个 model 文件中,如 BERT 的 modeling_bert.py。原因是该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快且模型发布后基本静态不变,集中抽象反而会带来维护与命名难题。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布九个 Gym 环境连续控制任务的预训练模型 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人,现于 Hugging Face 负责伦理 AI 研究协议与包容性招聘。她因在微软 Seeing AI 项目中目睹模型将爆炸场景描述为"美丽景色"而转向伦理 AI,并指出 ML 团队普遍缺乏对偏见概念的认知与沟通词汇。
Hugging Face 开放申请为期 9 个月的 AI Research Residency Program,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。项目为全职,申请截止 2022 年 4 月 3 日,无需搬迁,欢迎各类背景申请者。
Hugging Face 发布教程,演示如何用自建人行道数据集 segments/sidewalk-semantic 微调 SegFormer 语义分割模型,用于披萨配送机器人识别可行驶区域与障碍物。
Hugging Face 的 🤗 datasets 现已支持图像特征类型,可结合 sentence_transformers 与 faiss 为图像数据集添加相似度索引,实现图像搜索。文中以英国图书馆数字化书籍插图数据集为例,通过 ImageFolder 加载器直接读取含 image 和 label 特征的 10000 行数据,并演示了提取图像文件名等元数据的方法。
Hugging Face 发布教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 在 🤗 Transformers 中推出约束束搜索(constrained beam search),通过 model.generate() 的 force_words_ids 参数让用户指定生成结果中必须包含的词。该功能支持强制单个词、多个短语以及析取约束(在候选词列表中至少包含一个),可在生成阶段直接控制输出,无需事后再筛选。
Google AI Language 于 2018 年推出 BERT,这一基于 Transformer 的双向编码器模型可同时处理 11+ 种常见 NLP 任务,并在多项任务上超越此前模型。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集,并借助 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型。ViT 由 Google Brain 团队于 2021 年 6 月提出,将图像切分为子图块并嵌入为 token 序列后送入 Transformer 训练。
Hugging Face 发布 Python 情感分析入门指南,介绍如何用预训练模型和自有数据完成情感分析。Hugging Face Hub 上已有超过 215 个情感分析模型,借助 transformers 的 pipeline 类,5 行代码即可完成预测。指南还涵盖用自有数据微调模型以及分析推文的方法。
Hugging Face 博客介绍了如何利用 Wav2Vec2 的 CTC 架构特性,在 🤗 Transformers 中对任意长音频文件乃至实时语音进行高质量自动语音识别。
Hugging Face 为 huggingface_hub 库新增 ModelFilter 和 ModelSearchArguments 类,让用户无需离开 Jupyter 或 Python 环境即可编程式搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face 公布 Infinity 在 Amazon EC2 C6i(Intel Ice Lake)实例上的端到端推理基准:优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%,相比 Cascade Lake 实例最高提升 34%。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库,可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于语音识别解码。
Hugging Face 发布教程,介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型,在 NVIDIA T4 GPU 实例(约 500 美元/月)上实现可扩展的实时推理。
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线:在 BBC News 分类数据集上,AutoNLP 训练 15 个多分类模型,约 15 分钟完成,最佳模型准确率达 98.67%,单模型价格低至 $10。
Hugging Face 收购机器学习初创公司 Gradio,Gradio 联合创始人以第一人称宣布这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布,用于让机器学习工程师快速构建和分享模型 demo,目前已有超过 30 万个 demo 基于该库搭建。作者表示加入 Hugging Face 后将继续发展 Gradio,让任何有浏览器和网络的人都能使用机器学习,并提到团队正在招聘。
推荐理由:Gradio 创始人以第一人称讲述被 Hugging Face 收购的经过,并回顾该库从 2019 年起步到 30 万 demo 的历程。
Hugging Face 在 Transformers 库中加入 Perceiver IO,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,并随附示例 Space 与 notebook。
推荐理由:Hugging Face 把 Perceiver IO 接入 Transformers,读者可了解这套架构如何用 latent 空间统一处理文本、图像、音频与光流。