Hugging Face 实测 SDXL 的简单推理优化
Hugging Face 在 A100 40GB 上实测了 SDXL 的多种推理优化，未优化管线占用 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 在 Diffusers 中的显存与延迟实测数据，可直接对照选择优化组合。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
491 条精选近 30 天 123 条共收录 1,808 条
更新
精选归档 · 第 24 页
Hugging Face Blog精选AI 评分6262 Hugging Face Blog精选AI 评分6262 RLHF 与 PPO 的 N 个实现细节：复现 OpenAI lm-human-preferences
作者复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感和描述性任务上得到与原始代码几乎一致的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断前端部署与隐私场景的可行性。
Modal Blog精选AI 评分6262 Modal 正式开放注册并完成 1600 万美元 A 轮融资
Modal 宣布正式开放注册，任何人都可注册并在几分钟内于云端运行代码，此前该平台一直采用等待名单邀请制。Modal 是云函数平台，支持用 Python 定义镜像、硬件与持久存储，在 A100、A10G、T4、L4、H100 等 GPU 上部署自动扩缩容推理端点，并可按秒计费运行大规模批处理任务。
推荐理由：Modal 从等待名单转为开放注册，并给出 GPU 推理、批处理与 cron 的免配置用法，可据此判断无服务器数据栈的落地方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Anthropic News精选AI 评分7373 亚马逊将向 Anthropic 投资最高 40 亿美元，AWS 成为其主要云服务商
Anthropic 宣布亚马逊将向其投资最高 40 亿美元，AWS 将成为其关键任务负载的主要云服务商，并提供 AWS Trainium 和 Inferentia 芯片用于模型训练与部署。
推荐理由：Anthropic 官方披露亚马逊最高 40 亿美元投资与 AWS 成为主要云服务商的安排，可了解双方在算力与 Bedrock 上的绑定关系。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法将模型量化为 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化如何接入 Transformers 生态，读者可据此判断低比特部署的可行路径与限制。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调并更新 API
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo，以适配各自的用例，同时更新了 API。原文仅给出这一句说明，未披露微调价格、可用范围或具体 API 变更细节。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，是当时最受关注的 API 能力变化。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，可在 Apple 设备本地运行 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者在 Apple 设备上用 Core ML 本地运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此了解端侧 LLM 的转换与优化路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 发布 Core ML 版 Stable Diffusion XL，采用混合比特量化
Hugging Face 与 Apple 将 Stable Diffusion XL 移植到 Core ML，可在 Apple Silicon Mac 上本地运行，并发布混合比特调色板量化方案。
推荐理由：原文给出混合比特调色板量化的具体压缩比与 PSNR 数据，可据此判断本地跑 SDXL 的体积与质量取舍。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 全面接入
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可。Hugging Face 同步完成集成，提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署，并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由：Meta 开源 Llama 2 并同步接入 Hugging Face 生态，读者可了解其许可、规模与推理微调路径。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍了借助 Core ML 新优化在 Apple 设备上加速 Stable Diffusion 的方法，核心是 6-bit palettization 量化，把权重从 16 位浮点压缩到每参数 6 bit，并在推理时逐层解压以降低内存占用。
推荐理由：原文给出 6-bit palettization 的量化转换流程与已上传的四个 Stable Diffusion 模型，读者可据此在 Apple 设备上自行部署。
OpenAI News精选AI 评分8080 OpenAI 更新 API：函数调用、更长上下文与更低价格
OpenAI 宣布对 API 进行多项更新，包括更易引导的模型、函数调用能力、更长的上下文以及更低的价格。
推荐理由：OpenAI 公布 API 多项更新，读者可据此了解模型可控性、函数调用与价格的变化方向。
Hugging Face Blog精选AI 评分7878 Hugging Face 在 transformers 中集成 bitsandbytes 4-bit 量化与 QLoRA
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大部分 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 微调接入 transformers，读者可据此判断消费级显卡能跑多大模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成解码方法，可将文本生成延迟降低最多 10 倍
Hugging Face 发布辅助生成（assisted generation）解码方法，通过小模型生成候选 token、大模型一次前向验证，在消费级硬件上最多降低 10 倍延迟。
推荐理由：Hugging Face 官方详解辅助生成解码原理与 Transformers 用法，读者可据此判断低延迟文本生成的可行路径。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 的完整代码与显存取舍，可迁移到其他大模型的低显存部署。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 trl 与 peft 集成，可在 24GB 消费级 GPU 上微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型，再用 peft 添加低秩适配器只训练少量参数，并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits，从而省去第二份模型副本。
推荐理由：trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径，可迁移到自有训练流程。
Hugging Face Blog精选AI 评分6262 用机器学习援助土耳其地震幸存者：afetharita 的模型与部署实践
2023 年 2 月 6 日土耳其东南部发生 7.7 和 7.6 级地震后，一群程序员在 Discord 上协作开发了名为 afetharita（灾害地图）的应用，用于从幸存者的推文和截图中提取地址与需求信息，供搜救队和志愿者使用。
推荐理由：作者以志愿者身份复盘土耳其地震救援中的模型选型与部署流程，可迁移到快速搭建应急类 ML 应用。
Hugging Face Blog精选AI 评分6666 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 联合 Apple 工程师把 Stable Diffusion 权重转换为 Core ML 格式并上传到 Hub，可在 Apple Silicon 的 CPU、GPU 和神经引擎上运行。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的完整流程与性能参考，可迁移到本地部署实践。