如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
#部署/工程
Hugging Face BlogAI 评分5050
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务，并同步集成到 JS 与 Python 客户端 SDK。
推荐理由：Hugging Face 把四家无服务器推理商接入模型页与 SDK，读者可据此了解多供应商切换与计费方式的变化。
Hugging Face Blog精选AI 评分6262 Diffusers 中的开源视频生成模型现状
Hugging Face Diffusers 团队梳理了开源视频生成模型的现状，列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开放模型与 Sora、Veo 2、Kling 等闭源模型的对照。
推荐理由：Diffusers 团队梳理开源视频生成模型现状，并给出显存优化与微调的实测数据，可据此评估本地部署门槛。
Hugging Face BlogAI 评分4343 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列 KV Cache 压缩技术降低长上下文 LLM 的显存占用。以 Llama 3-70B 在 bfloat16 下处理 1M tokens 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成高性能推理部署
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI 推理基础设施集成进 Hugging Face Hub 的“Deploy this model”按钮，实现一键部署。
Hugging Face BlogAI 评分5555 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过 Rust 的 Backend trait 让 TGI 作为统一前端层接入不同推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布静态嵌入模型，CPU 推理快 100 至 400 倍
Hugging Face 发布两个静态嵌入模型 static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1，在 CPU 上比 all-mpnet-base-v2、multilingual-e5-small 等常见模型快 100 至 400 倍，同时保留至少 85% 的性能。
推荐理由：原文给出静态嵌入模型的训练配方与两个已发布模型，读者可据此判断低算力场景下嵌入推理的可行边界。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 代码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文及多项 FIM 基准对比，可据此判断其在代码补全场景的位置。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录显存快照、导出 profile.pkl 并在 pytorch.org/memory_viz 可视化，逐步拆解模型创建、前向、反向和优化器各阶段的显存变化。
推荐理由：原文给出 PyTorch 显存快照的可视化步骤与显存估算公式，读者可据此定位训练中的显存峰值来源。
Hugging Face BlogAI 评分4242 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可在 Hugging Face Transformers 的 generate 方法中直接修改预测分数，实现控制序列长度、强制关键短语、引导多选题答案等任务。
Hugging Face Blog精选AI 评分6262 IBM 等联合发布 Bamba-9B 混合 Mamba2 模型
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由：原文给出混合 Mamba2 架构在 vLLM 中的吞吐与延迟实测数据，以及开放权重和训练配方，便于判断该架构的推理效率取舍。
Hugging Face BlogAI 评分2222 在 GCP 第五代 Xeon 上基准测试语言模型性能
Hugging Face 在 Google Cloud 的 N2 与 C4 实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载，C4 的文本嵌入吞吐量是 N2 的 10x 至 24x，文本生成吞吐量是 N2 的 2.3x 至 3.6x。
Hugging Face BlogAI 评分2222 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供给 AWS 客户部署，底层由 Amazon SageMaker JumpStart 管理端点。
Hugging Face BlogAI 评分3131 LLM 修复自身错误的能力有多强？基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型（5 个约 8B 参数、3 个约 2B 参数），场景是把自然语言日历请求翻译成 Python API 调用。
Hugging Face BlogAI 评分3434 CFM 如何用 LLM 辅助标注微调小模型：金融 NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融命名实体识别上准确率最高提升 6.4%，推理成本较大模型低至 80 倍。
Hugging Face BlogAI 评分3636 Hugging Face 重构 Hub 上传与下载架构
Hugging Face 正为 Hub 重新设计上传与下载架构，引入内容寻址存储（CAS）并构建自定义传输协议，采用"读路径简单、写路径智能"的思路，按字节级分析文件以加速大文件传输。
Hugging Face BlogAI 评分4040 Hugging Face 详解 LayerSkip 自推测解码：用模型自身早退层加速文本生成
Hugging Face 博客介绍 LayerSkip 提出的自推测解码，用同一 LLM 的浅层生成 draft token、深层负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分4747 Hugging Face 如何用内容定义分块提升存储效率
Hugging Face 的 Xet 团队正用内容定义分块（CDC）把文件拆成可变大小的块，只传输和存储被修改的块，从而提升存储效率与迭代速度。在 CORD-19 数据集基准中，Xet 后端相比 Git LFS 平均下载时间从 51 分钟降至 19 分钟、上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Mistral AIAI 评分4040 Mistral AI 推出 Batch API，成本较同步调用降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，处理高并发请求的成本比同步 API 调用低 50%。该 API 面向批量数据处理场景，支持客户反馈分析、文档批量摘要与翻译、向量嵌入及数据标注等用途，适用于平台上的所有模型，每个工作区最多 100 万个进行中的请求。
Mistral AIAI 评分5858 Mistral AI 发布内容审核 API
Mistral AI 发布新的内容审核 API，即其 Le Chat 审核服务所用的同一套接口，现开放给用户按自身应用和安全标准使用。该模型是一个 LLM 分类器，将文本输入分为 9 个类别，提供原始文本和对话内容两个端点，并针对对话场景分类最后一条消息。模型原生支持多语言，训练语言包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。
Hugging Face BlogAI 评分3434 Hugging Face 集成进 PyCharm：右键即可插入 HF 模型
Hugging Face 与 PyCharm 完成集成，开发者可在代码中右键选择 "Insert HF Model"，直接调用 Hugging Face Hub 上的模型。
Hugging Face Blog精选AI 评分6262 Intel Labs 与 Hugging Face 提出 Universal Assisted Generation，可用任意助手模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换让目标模型与任意模型族的助手模型配对，从而加速推理。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的通用辅助生成方法，读者可了解其如何让任意小模型充当助手并带来 1.5x-2.0x 推理加速。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 HUGS 零配置开源模型推理服务
Hugging Face 发布生成式 AI 服务 HUGS，基于 Text Generation Inference 和 Transformers 构建，提供零配置的优化推理微服务，可在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的优化推理部署压缩到零配置，读者可据此判断自托管开源模型的门槛与成本变化。
Hugging Face BlogAI 评分4040 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，串联 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可用单语言模式或 auto 标志自动检测语言。由于本地运行对算力要求高、易出现延迟，官方给出用自定义 Docker 镜像将其部署到 Hugging Face Inference Endpoints 的分步指南。
Hugging Face Blog精选AI 评分7171 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快至多 100 倍，加载模型时设置 device: 'webgpu' 即可启用。
推荐理由：官方发布说明列出 WebGPU 加速、量化格式与 1200 多个预转换模型，可据此判断浏览器端推理的可用边界。
Hugging Face BlogAI 评分5858 dottxt 与 Hugging Face 发布 Outlines-core 0.1.0，用 Rust 重写结构化生成核心算法
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，已集成进 outlines 并放出 Python 绑定。
Hugging Face Blog精选AI 评分6262 Diffusers 支持 Stable Diffusion 3.5 Large，含 8B 与 timestep-distilled 两个 checkpoint
Stable Diffusion 3.5 已在 Hugging Face Hub 上线并可通过 Diffusers 使用，发布包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型，后者支持 4-8 步少步推理。
推荐理由：Stable Diffusion 3.5 Large 已在 Hub 上线并接入 Diffusers，文中给出量化推理与 LoRA 训练的完整代码路径。
Hugging Face BlogAI 评分3030 Llama 3.2 在 Keras 中可用：从 day 1 起即支持
Keras 从 day 1 起就支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 3.2 版本，需要转换时会在运行中即时完成。
Hugging Face BlogAI 评分4242 Hugging Face 在 AMD 第五代 EPYC（Turin）CPU 上验证 Llama 3.1 8B 推理性能
Hugging Face 与 AMD 合作验证了基于 Zen5 架构的第五代 EPYC（Turin）CPU 对 Hugging Face 生态的支持，在 Meta Llama 3.1 8B 推理测试中，128 核 Turin 相比 96 核 Genoa 在多数配置下吞吐量提升约 2 倍。
Hugging Face BlogAI 评分3636 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器对 FineWeb 数据集做教育价值打分，从本地 pandas 处理 100 行扩展到 Dask 在云端多 GPU 上并行处理 2.11 亿行。
Hugging Face Blog精选AI 评分6262 Gradio 5 稳定版发布，支持 SSR 与低延迟流式
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 把 SSR、低延迟流式和安全审计打包进稳定版，可据此判断现有 ML 演示应用是否需要升级。
Hugging Face BlogAI 评分4242 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码，通过按助手模型置信度动态调整每轮草稿 token 数量，文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式，在 Llama3.1-8B 搭配 Llama3.2-1B 上实现最高 1.52 倍加速，而启发式方法无明显提速。
Hugging Face BlogAI 评分2222 Hugging Face 如何改进 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了去重表现：追加 1 万行可去重 99.1%，仅需额外 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则导致后半文件全部重写。团队提出改用相对偏移量、对行组做内容定义分块（CDC）等改进思路，并希望与 Apache Arrow 社区合作落地。
OpenAI News精选AI 评分6565 OpenAI 发布 Realtime API
OpenAI 发布 Realtime API，开发者可将其接入应用，构建快速的语音到语音交互体验。
推荐理由：OpenAI 官方发布 Realtime API，开发者可据此判断语音到语音交互的接入方式。
OpenAI News精选AI 评分6060 OpenAI 在 API 中推出 Prompt Caching
OpenAI 在 API 中推出 Prompt Caching，对模型近期已见过的输入自动提供折扣。官方说明该机制面向重复出现的输入内容，具体折扣幅度与适用条件未在摘要中给出。
推荐理由：OpenAI 在 API 层面对近期出现过的输入自动打折，读者可据此判断长提示词与重复上下文的成本变化。
Hugging Face BlogAI 评分3434 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署，减少依赖。
Hugging Face BlogAI 评分5858 Hugging Face 将 Llama3 8B 微调到 1.58bit 的实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，用 BitNet 的三值权重（-1、0、1）架构微调 Llama3 8B，并在 HF1BitLLM 组织下开源了三个模型。
Mistral AI精选AI 评分7272 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格降幅达 80%，Mistral Large 降 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，读者可据此判断其 API 成本与部署选择的变化。
Mistral AI精选AI 评分7070 Mistral 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用 400M 参数从头训练的视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与 128k token 上下文窗口内的多图输入。
推荐理由：官方给出架构细节、MMMU 等基准对比和 Apache 2.0 许可，可据此判断开源多模态模型的当前水位。
Hugging Face BlogAI 评分4848 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face Hub 为数据集上线 SQL Console，点击数据集上的 SQL Console 徽标即可在浏览器内直接查询数据。该控制台由 DuckDB WASM 驱动，无需后端，支持完整 DuckDB SQL 语法、结果导出为 parquet 以及公开数据集查询结果链接分享。