技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
239 条精选近 30 天 23 条共收录 717 条
Hugging Face 介绍了借助 Core ML 新优化在 Apple 设备上加速 Stable Diffusion 的方法，核心是 6-bit palettization 量化，把权重从 16 位浮点压缩到每参数 6 bit，并在推理时逐层解压以降低内存占用。
推荐理由：原文给出 6-bit palettization 的量化转换流程与已上传的四个 Stable Diffusion 模型，读者可据此在 Apple 设备上自行部署。
OpenAI 宣布对 API 进行多项更新，包括更易引导的模型、函数调用能力、更长的上下文以及更低的价格。
推荐理由：OpenAI 公布 API 多项更新，读者可据此了解模型可控性、函数调用与价格的变化方向。
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大部分 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 微调接入 transformers，读者可据此判断消费级显卡能跑多大模型。
Hugging Face 发布辅助生成（assisted generation）解码方法，通过小模型生成候选 token、大模型一次前向验证，在消费级硬件上最多降低 10 倍延迟。
推荐理由：Hugging Face 官方详解辅助生成解码原理与 Transformers 用法，读者可据此判断低延迟文本生成的可行路径。
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 的完整代码与显存取舍，可迁移到其他大模型的低显存部署。
Hugging Face 官方发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型，再用 peft 添加低秩适配器只训练少量参数，并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits，从而省去第二份模型副本。
推荐理由：trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径，可迁移到自有训练流程。
2023 年 2 月 6 日土耳其东南部发生 7.7 和 7.6 级地震后，一群程序员在 Discord 上协作开发了名为 afetharita（灾害地图）的应用，用于从幸存者的推文和截图中提取地址与需求信息，供搜救队和志愿者使用。
推荐理由：作者以志愿者身份复盘土耳其地震救援中的模型选型与部署流程，可迁移到快速搭建应急类 ML 应用。
Hugging Face 联合 Apple 工程师把 Stable Diffusion 权重转换为 Core ML 格式并上传到 Hub，可在 Apple Silicon 的 CPU、GPU 和神经引擎上运行。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的完整流程与性能参考，可迁移到本地部署实践。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax，可在 Colab、Kaggle 或 Google Cloud 的 TPU 上快速推理 Stable Diffusion。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 跑 Stable Diffusion 的完整步骤与并行原理，可迁移到多设备推理。
Hugging Face 撰文解释 Accelerate 如何借助 PyTorch 在内存和显存不足的消费级硬件上加载并运行超大模型。它先用 meta device 创建空模型并计算 device map，再按分片逐步加载权重，把层分配到多张 GPU、CPU 内存乃至磁盘，最后通过 hooks 在每次前向传播前后搬运权重。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载在有限显存下跑大模型的完整流程，可迁移到自己的推理部署。
Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate，使 BLOOM-176B 等大模型显存占用减半且推理性能几乎无损。
推荐理由：Hugging Face 官方详解 LLM.int8() 量化原理与 transformers 集成细节，可了解大模型显存减半的落地方式。
Hugging Face 推出 Evaluation on the Hub，由 AutoTrain 驱动，用户无需写代码即可在 Hub 上用任意数据集和指标评测模型。评测结果会以 PR 形式写入模型卡的元数据，并可在数据集页查看排行榜；官方已用该工具评测数百个模型并提交了对应 PR。工具支持为任务寻找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型三种场景。
推荐理由：Hugging Face 把模型评测做成 Hub 上的一键流程，读者可了解免代码评测与结果写入模型卡的做法。
Gradio 发布 3.0 版本，对库进行彻底重设计，前端改用 Svelte 等现代技术，页面加载更快、体积更小，并新增 Gallery 组件和 TabbedInterface 类。
推荐理由：Gradio 3.0 重写前端并推出 Blocks 低层 API，读者可了解它如何让 Python 直接搭建复杂自定义 Web 应用。
Hugging Face 发布开源库 Optimum，目标是成为 Transformer 生产性能的优化工具包，让模型在特定硬件上训练和推理达到更高效率。Optimum 与硬件伙伴合作构建，首个案例是与 Intel 的 Neural Compressor 配合，演示如何为 Intel Xeon CPU 量化模型。
推荐理由：Hugging Face 官方开源 Optimum，读者可了解它如何把模型加速与硬件适配的复杂度封装起来。
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水准。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face 发布 Accelerate 库，面向希望保留训练循环控制权的 PyTorch 用户，用统一 API 封装分布式训练（单机或多机多 GPU、TPU）与混合精度所需的样板代码。
推荐理由：原文给出五处代码改动即可跑分布式与混合精度的具体做法，便于对照现有 PyTorch 训练脚本评估迁移成本。
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --sharded_ddp 和 --deepspeed 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 和 DeepSpeed 的显存与耗时，可据此判断两种方案的取舍。
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，并已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解其与既有强化学习环境的衔接方式。
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖全球的游戏、网站及其他应用。
推荐理由：OpenAI 发布 Universe 平台，读者可了解其用游戏和网站训练通用智能的定位。