Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型，在多数基准上超过 Llama 2 70B，推理速度快 6 倍，并在多数标准基准上追平或超过 GPT3.5。
推荐理由：官方给出稀疏 MoE 架构的参数量与推理成本对比，可据此判断开源模型在性价比上的位置。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
418 条精选近 30 天 74 条共收录 1,434 条
更新
精选归档 · 第 20 页
Mistral AI精选AI 评分8888 Hugging Face Blog精选AI 评分8585 Mistral 发布 Mixtral 8x7B，Hugging Face 全面接入
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含基础版与 Instruct 版，支持 32k token 上下文，以 Apache 2.0 许可开放商用。
推荐理由：Hugging Face 官方给出 Mixtral 的架构说明、基准对比与量化部署路径，可据此判断 MoE 开源模型的落地成本。
Hugging Face Blog精选AI 评分6060 Hugging Face 与 AMD 合作：AMD GPU 开箱即用加速大语言模型
Hugging Face 与 AMD 宣布在 AMD Instinct GPU 上实现开箱即用支持，所有 Transformers 模型和任务无需修改代码即可运行，示例代码与 NVIDIA GPU 上完全一致。
推荐理由：原文给出 AMD GPU 上无需改代码运行 Transformers 的支持范围与实测对比数据，可据此判断迁移成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Anthropic News精选AI 评分8686 Anthropic 发布 Claude 2.1，上下文扩至 200K token 并新增工具调用
Anthropic 发布 Claude 2.1，已在 API、Console 和 claude.ai 上线，上下文窗口翻倍至 200,000 token，约合 15 万词或 500 页以上材料。
推荐理由：官方给出 200K 上下文、幻觉率减半与工具调用三项能力变化，可据此判断长文档与企业集成场景的可用性。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，SDXL 可在 4 步内出图
Hugging Face 发布 Latent Consistency LoRA，通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：原文给出了 LCM LoRA 的推理代码、速度对比表和已发布权重，读者可据此判断少步生成的可用性。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Personal Copilot 教程：用自有代码库微调 StarCoder
Hugging Face 发布教程，展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder，训练出名为 HugCoder 的代码补全助手。
推荐理由：完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程，并给出成本与效果对比，可迁移到自有代码库。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化
Hugging Face 在 A100 40GB 上实测了 SDXL 的多种推理优化，未优化管线占用 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 在 Diffusers 中的显存与延迟实测数据，可直接对照选择优化组合。
Hugging Face Blog精选AI 评分6262 RLHF 与 PPO 的 N 个实现细节：复现 OpenAI lm-human-preferences
作者复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感和描述性任务上得到与原始代码几乎一致的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断前端部署与隐私场景的可行性。
Modal Blog精选AI 评分6262 Modal 正式开放注册并完成 1600 万美元 A 轮融资
Modal 宣布正式开放注册，任何人都可注册并在几分钟内于云端运行代码，此前该平台一直采用等待名单邀请制。Modal 是云函数平台，支持用 Python 定义镜像、硬件与持久存储，在 A100、A10G、T4、L4、H100 等 GPU 上部署自动扩缩容推理端点，并可按秒计费运行大规模批处理任务。
推荐理由：Modal 从等待名单转为开放注册，并给出 GPU 推理、批处理与 cron 的免配置用法，可据此判断无服务器数据栈的落地方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Anthropic News精选AI 评分7373 亚马逊将向 Anthropic 投资最高 40 亿美元，AWS 成为其主要云服务商
Anthropic 宣布亚马逊将向其投资最高 40 亿美元，AWS 将成为其关键任务负载的主要云服务商，并提供 AWS Trainium 和 Inferentia 芯片用于模型训练与部署。
推荐理由：Anthropic 官方披露亚马逊最高 40 亿美元投资与 AWS 成为主要云服务商的安排，可了解双方在算力与 Bedrock 上的绑定关系。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法将模型量化为 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化如何接入 Transformers 生态，读者可据此判断低比特部署的可行路径与限制。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调并更新 API
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo，以适配各自的用例，同时更新了 API。原文仅给出这一句说明，未披露微调价格、可用范围或具体 API 变更细节。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，是当时最受关注的 API 能力变化。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，可在 Apple 设备本地运行 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者在 Apple 设备上用 Core ML 本地运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此了解端侧 LLM 的转换与优化路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 发布 Core ML 版 Stable Diffusion XL，采用混合比特量化
Hugging Face 与 Apple 将 Stable Diffusion XL 移植到 Core ML，可在 Apple Silicon Mac 上本地运行，并发布混合比特调色板量化方案。
推荐理由：原文给出混合比特调色板量化的具体压缩比与 PSNR 数据，可据此判断本地跑 SDXL 的体积与质量取舍。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 全面接入
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可。Hugging Face 同步完成集成，提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署，并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由：Meta 开源 Llama 2 并同步接入 Hugging Face 生态，读者可了解其许可、规模与推理微调路径。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍了借助 Core ML 新优化在 Apple 设备上加速 Stable Diffusion 的方法，核心是 6-bit palettization 量化，把权重从 16 位浮点压缩到每参数 6 bit，并在推理时逐层解压以降低内存占用。
推荐理由：原文给出 6-bit palettization 的量化转换流程与已上传的四个 Stable Diffusion 模型，读者可据此在 Apple 设备上自行部署。