技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
239 条精选近 30 天 23 条共收录 717 条
Hugging Face 发布教程，介绍如何用 ComfyUI-to-Python-Extension 把 ComfyUI 工作流导出为纯 Python 脚本，再用 Gradio 封装成应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流导出为 Python、封装 Gradio 并部署到 ZeroGPU 的完整步骤，可迁移到自己的工作流。
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 生态兼容，可将 LLM 微调速度提升约 2 倍并降低显存占用，精度相对标准 QLoRA 无下降。
推荐理由：原文给出 Unsloth 与 TRL 的集成方式和 59 次基准数据，读者可据此判断微调成本能降多少。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上，Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒，WER 保持 3.5%；荷兰语 VoxPopuli 上从 117 秒降至 62 秒，WER 保持 12.8%。
推荐理由：原文给出可复用的投机解码实现与基准数据，读者可据此在现有 Whisper 流程中获得约 2 倍加速。
Mistral AI 开放其首个平台服务 la plateforme 的 beta 访问，提供三个对话端点和一个嵌入端点。
推荐理由：Mistral AI 开放首个平台服务测试，给出三个对话端点和嵌入端点的模型、价格与基准表现，可据此判断其早期 API 能力边界。
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型，在多数基准上超过 Llama 2 70B，推理速度快 6 倍，并在多数标准基准上追平或超过 GPT3.5。
推荐理由：官方给出稀疏 MoE 架构的参数量与推理成本对比，可据此判断开源模型在性价比上的位置。
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含基础版与 Instruct 版，支持 32k token 上下文，以 Apache 2.0 许可开放商用。
推荐理由：Hugging Face 官方给出 Mixtral 的架构说明、基准对比与量化部署路径，可据此判断 MoE 开源模型的落地成本。
Hugging Face 与 AMD 宣布在 AMD Instinct GPU 上实现开箱即用支持，所有 Transformers 模型和任务无需修改代码即可运行，示例代码与 NVIDIA GPU 上完全一致。
推荐理由：原文给出 AMD GPU 上无需改代码运行 Transformers 的支持范围与实测对比数据，可据此判断迁移成本。
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Hugging Face 发布 Latent Consistency LoRA，通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：原文给出了 LCM LoRA 的推理代码、速度对比表和已发布权重，读者可据此判断少步生成的可用性。
Hugging Face 发布教程，展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder，训练出名为 HugCoder 的代码补全助手。
推荐理由：完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程，并给出成本与效果对比，可迁移到自有代码库。
Hugging Face 在 A100 40GB 上实测了 SDXL 的多种推理优化，未优化管线占用 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 在 Diffusers 中的显存与延迟实测数据，可直接对照选择优化组合。
作者复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感和描述性任务上得到与原始代码几乎一致的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断前端部署与隐私场景的可行性。
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法将模型量化为 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化如何接入 Transformers 生态，读者可据此判断低比特部署的可行路径与限制。
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo，以适配各自的用例，同时更新了 API。原文仅给出这一句说明，未披露微调价格、可用范围或具体 API 变更细节。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，是当时最受关注的 API 能力变化。
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者在 Apple 设备上用 Core ML 本地运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此了解端侧 LLM 的转换与优化路径。
Hugging Face 与 Apple 将 Stable Diffusion XL 移植到 Core ML，可在 Apple Silicon Mac 上本地运行，并发布混合比特调色板量化方案。
推荐理由：原文给出混合比特调色板量化的具体压缩比与 PSNR 数据，可据此判断本地跑 SDXL 的体积与质量取舍。
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可。Hugging Face 同步完成集成，提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署，并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由：Meta 开源 Llama 2 并同步接入 Hugging Face 生态，读者可了解其许可、规模与推理微调路径。