Gradio 3.0 发布,推出 Blocks 低层 API
Gradio 发布 3.0 版本,对库进行彻底重设计,前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
307 条精选近 30 天 55 条共收录 1,024 条
Gradio 发布 3.0 版本,对库进行彻底重设计,前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。
Hugging Face 发布开源库 Optimum,目标是成为 Transformer 生产性能的优化工具包,让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建,首个案例是与 Intel 的 Neural Compressor 配合,演示如何为 Intel Xeon CPU 量化模型。
推荐理由:Hugging Face 官方开源 Optimum,读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
OpenAI 发布 Triton 1.0,这是一门开源的类 Python 编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,多数情况下能达到专家水准。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face 发布 Accelerate 库,面向希望保留训练循环控制权的 PyTorch 用户,用统一 API 封装分布式训练(单机或多机多 GPU、TPU)与混合精度所需的样板代码。
推荐理由:原文给出五处代码改动即可跑分布式与混合精度的具体做法,便于对照现有 PyTorch 训练脚本评估迁移成本。
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持,新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由:作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时,可据此判断两种方案的取舍。
OpenAI 发布 Roboschool,这是一款用于机器人仿真的开源软件,并已与 OpenAI Gym 集成。
推荐理由:OpenAI 开源机器人仿真软件并接入 Gym,读者可了解其与既有强化学习环境的衔接方式。
OpenAI 发布 Universe,一个用于衡量和训练 AI 通用智能的软件平台,覆盖全球的游戏、网站及其他应用。
推荐理由:OpenAI 发布 Universe 平台,读者可了解其用游戏和网站训练通用智能的定位。