技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
307 条精选近 30 天 55 条共收录 1,024 条
Hugging Face 与 NVIDIA 合作推出 Train on DGX Cloud，Enterprise Hub 组织可在 Hugging Face Hub 内通过 AutoTrain 和 Spaces 以无代码方式创建训练任务，运行在 NVIDIA DGX Cloud 的 H100 GPU 上。
推荐理由：原文给出无代码训练入口、支持模型清单和按分钟计费价格，读者可据此估算在 H100 上微调的成本。
Anthropic 发布 Claude 3 Haiku，称其为同智能级别中最快、最便宜的模型，具备领先的视觉能力并在行业基准上表现强劲。该模型处理 32K token 以下提示时每秒可处理 21K token（约 30 页），速度是同类模型的三倍，输入输出 token 比例为 1:5，成本为同性能档其他模型的一半。
推荐理由：官方给出 Haiku 的速度、定价与可用渠道，读者可据此判断它在企业批量文档处理中的定位。
Mistral AI 发布旗舰文本生成模型 Mistral Large，通过 la Plateforme 和 Azure 提供，官方称其推理能力达到顶级水平，是 API 可用的全球第二强模型（仅次于 GPT-4）。
推荐理由：官方给出 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其旗舰定位与多语言、函数调用能力。
Google 发布开源大模型系列 Gemma，包含 2B 和 7B 两个尺寸，各有基础版和指令微调版，上下文长度 8K tokens，可运行在消费级硬件上。Hugging Face 宣布全面支持，提供 Transformers 集成、Google Cloud 与 Inference Endpoints 部署，以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 系列并同步接入 Hugging Face 生态，读者可了解其规格、许可与部署路径。
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：Hugging Face 官方给出 TGI 兼容 OpenAI 接口的迁移路径与代码示例，读者可据此评估从闭源模型切换到开源模型的改造成本。
Hugging Face 发布教程，介绍如何用 ComfyUI-to-Python-Extension 把 ComfyUI 工作流导出为纯 Python 脚本，再用 Gradio 封装成应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流导出为 Python、封装 Gradio 并部署到 ZeroGPU 的完整步骤，可迁移到自己的工作流。
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 生态兼容，可将 LLM 微调速度提升约 2 倍并降低显存占用，精度相对标准 QLoRA 无下降。
推荐理由：原文给出 Unsloth 与 TRL 的集成方式和 59 次基准数据，读者可据此判断微调成本能降多少。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上，Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒，WER 保持 3.5%；荷兰语 VoxPopuli 上从 117 秒降至 62 秒，WER 保持 12.8%。
推荐理由：原文给出可复用的投机解码实现与基准数据，读者可据此在现有 Whisper 流程中获得约 2 倍加速。
Anthropic 发布简化的商业服务条款并扩大版权赔偿范围，承诺为客户经授权使用服务或其输出所遭遇的版权侵权索赔进行抗辩并支付和解或判决费用，新条款将于 2024 年 1 月 1 日对 Claude API 客户生效、1 月 2 日对通过 Amazon Bedrock 使用 Claude 的客户生效。
推荐理由：原文给出商业条款与 Messages API 的具体变化，读者可据此判断 Claude API 接入方式与版权责任的调整。
Mistral AI 开放其首个平台服务 la plateforme 的 beta 访问，提供三个对话端点和一个嵌入端点。
推荐理由：Mistral AI 开放首个平台服务测试，给出三个对话端点和嵌入端点的模型、价格与基准表现，可据此判断其早期 API 能力边界。
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型，在多数基准上超过 Llama 2 70B，推理速度快 6 倍，并在多数标准基准上追平或超过 GPT3.5。
推荐理由：官方给出稀疏 MoE 架构的参数量与推理成本对比，可据此判断开源模型在性价比上的位置。
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含基础版与 Instruct 版，支持 32k token 上下文，以 Apache 2.0 许可开放商用。
推荐理由：Hugging Face 官方给出 Mixtral 的架构说明、基准对比与量化部署路径，可据此判断 MoE 开源模型的落地成本。
Hugging Face 与 AMD 宣布在 AMD Instinct GPU 上实现开箱即用支持，所有 Transformers 模型和任务无需修改代码即可运行，示例代码与 NVIDIA GPU 上完全一致。
推荐理由：原文给出 AMD GPU 上无需改代码运行 Transformers 的支持范围与实测对比数据，可据此判断迁移成本。
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Anthropic 发布 Claude 2.1，已在 API、Console 和 claude.ai 上线，上下文窗口翻倍至 200,000 token，约合 15 万词或 500 页以上材料。
推荐理由：官方给出 200K 上下文、幻觉率减半与工具调用三项能力变化，可据此判断长文档与企业集成场景的可用性。
Hugging Face 发布 Latent Consistency LoRA，通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：原文给出了 LCM LoRA 的推理代码、速度对比表和已发布权重，读者可据此判断少步生成的可用性。
Hugging Face 发布教程，展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder，训练出名为 HugCoder 的代码补全助手。
推荐理由：完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程，并给出成本与效果对比，可迁移到自有代码库。
Hugging Face 在 A100 40GB 上实测了 SDXL 的多种推理优化，未优化管线占用 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 在 Diffusers 中的显存与延迟实测数据，可直接对照选择优化组合。
作者复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感和描述性任务上得到与原始代码几乎一致的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断前端部署与隐私场景的可行性。