Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云和硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
#Hugging Face
Hugging Face BlogAI 评分4040
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：Mixtral 在基准上超过 GPT-3.5
Hugging Face 发布博客，介绍如何用 LangChain 新集成的 ChatHuggingFace 封装把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 微调 Wav2Vec2-BERT（facebook/w2v-bert-2.0）完成低资源 ASR。
Hugging Face BlogAI 评分2727 IBM 与 Hugging Face 在 Transformers 库中发布 PatchTSMixer 时序模型
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了基于 MLP-Mixer 架构的轻量级时序模型 PatchTSMixer。
Hugging Face BlogAI 评分4242 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的实证对比
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上，用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法，并扫描 β 等关键超参数。
Hugging Face BlogAI 评分3636 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何用 ComfyUI-to-Python-Extension 把 ComfyUI 工作流导出为纯 Python 脚本，再用 Gradio 封装成应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流导出为 Python、封装 Gradio 并部署到 ZeroGPU 的完整步骤，可迁移到自己的工作流。
Hugging Face BlogAI 评分4040 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源排行榜模板发布了新的 HHEM 排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜通过 requests 和 results 两个数据集管理模型评测请求与结果，并支持社区提交新模型进行评估。
Hugging Face Blog精选AI 评分6262 Unsloth 与 Hugging Face TRL 集成，LLM 微调提速 2 倍
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 生态兼容，可将 LLM 微调速度提升约 2 倍并降低显存占用，精度相对标准 QLoRA 无下降。
推荐理由：原文给出 Unsloth 与 TRL 的集成方式和 59 次基准数据，读者可据此判断微调成本能降多少。
Hugging Face BlogAI 评分5757 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，一个基于掩码图像建模（MIM）的非扩散文生图模型，是对 Google MUSE 的开源复现，采用宽松许可证并以研究预览形式发布。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本与调参指南
Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本，将 Pivotal Tuning 与 Prodigy 优化器结合，并给出配套参数配置。
推荐理由：汇总 SDXL Dreambooth LoRA 微调的社区实践，含 Pivotal Tuning 与 Prodigy 优化器的参数配置和对比实验。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上，Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒，WER 保持 3.5%；荷兰语 VoxPopuli 上从 117 秒降至 62 秒，WER 保持 12.8%。
推荐理由：原文给出可复用的投机解码实现与基准数据，读者可据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分5252 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》长文，系统讲解 MoE 的构成、训练方式与推理权衡。文章指出 MoE 用稀疏层加门控网络替代部分 FFN 层，预训练更快、推理比同参数量稠密模型更快，但需把全部专家载入显存，例如 Mixtral 8x7B 需容纳 47B 稠密参数。
Hugging Face Blog精选AI 评分8585 Mistral 发布 Mixtral 8x7B，Hugging Face 全面接入
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含基础版与 Instruct 版，支持 32k token 上下文，以 Apache 2.0 许可开放商用。
推荐理由：Hugging Face 官方给出 Mixtral 的架构说明、基准对比与量化部署路径，可据此判断 MoE 开源模型的落地成本。
Hugging Face BlogAI 评分4242 Hugging Face 与 Intel Labs 推出 SetFitABSA：基于 SetFit 的少样本方面级情感分析
Hugging Face 与 Intel Labs 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 与 AMD 合作：AMD GPU 开箱即用加速大语言模型
Hugging Face 与 AMD 宣布在 AMD Instinct GPU 上实现开箱即用支持，所有 Transformers 模型和任务无需修改代码即可运行，示例代码与 NVIDIA GPU 上完全一致。
推荐理由：原文给出 AMD GPU 上无需改代码运行 Transformers 的支持范围与实测对比数据，可据此判断迁移成本。
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%
Hugging Face 在 Hub 推理 API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应从 35 秒降到 13 秒。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Hugging Face BlogAI 评分3636 Open LLM Leaderboard 深度解析 DROP 基准评分异常
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查，发现多数模型 f1-score 低于 10 分源于评测实现问题：数字后跟非空格空白字符时归一化失效，且以 . 作为停止符会截断浮点答案、让高质量模型因生成过长反而得分更低。改用 \n 作为停止符重新计算后，分数与模型整体表现的相关性明显改善。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，SDXL 可在 4 步内出图
Hugging Face 发布 Latent Consistency LoRA，通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：原文给出了 LCM LoRA 的推理代码、速度对比表和已发布权重，读者可据此判断少步生成的可用性。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 Llama-2-7b-hf 编译导出为 Neuron 格式，并选择 budget、latency、throughput 等不同配置，其中 7B 与 13B 模型均提供预编译版本，最大序列长度为 2048。
Hugging Face BlogAI 评分2222 Explosion 推出 Prodigy-HF：与 Hugging Face 直接集成
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类性能对比：基于 LoRA 微调
一项对比实验用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个模型，在灾难推文分类任务上评测性能。实验在单张 48GB A6000 GPU 上进行，统一将最大序列长度设为 512 以保证公平比较，其中 RoBERTa-large 为 355M 参数基线，另两个模型均为 7B 参数规模。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出存储区域功能
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions，允许组织选择模型和数据集的存储位置。目前支持 US 和 EU 两个区域，Asia-Pacific 即将上线；存储在欧洲的仓库可获得约 4-5 倍的上传和下载速度提升，并满足 GDPR 合规需求。非默认区域的仓库会直接显示 Region 标签。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Personal Copilot 教程：用自有代码库微调 StarCoder
Hugging Face 发布教程，展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder，训练出名为 HugCoder 的代码补全助手。
推荐理由：完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程，并给出成本与效果对比，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 现可直接读取 Hugging Face datasets，只需一行 spotlight.show(ds) 即可对数据集做交互式可视化，无需复制或预处理数据。Spotlight 支持加载预测结果与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇与模型失败模式，并可在 GUI 或 Python API 中自定义检查流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化
Hugging Face 在 A100 40GB 上实测了 SDXL 的多种推理优化，未优化管线占用 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 在 Diffusers 中的显存与延迟实测数据，可直接对照选择优化组合。
Hugging Face Blog精选AI 评分6262 RLHF 与 PPO 的 N 个实现细节：复现 OpenAI lm-human-preferences
作者复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感和描述性任务上得到与原始代码几乎一致的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face BlogAI 评分3636 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断前端部署与隐私场景的可行性。
Hugging Face BlogAI 评分4040 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，其中包含众多 LLM 和云端模型。ONNX Runtime 已支持 90 多个 Hugging Face 模型架构，覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等最热门架构。
Hugging Face BlogAI 评分5252 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 推理 SDXL
Hugging Face Diffusers 现已支持使用 JAX 在 Cloud TPU 上部署 SDXL，实现高性能、低成本的推理。演示运行在多个 TPU v5e-4 实例上，约 4 秒生成四张 1024×1024 图像，其中实际生成时间约 2.3 秒。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。
Hugging Face BlogAI 评分4242 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分1515 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿与 2023 夏季随想
Hugging Face 发布伦理与社会通讯第 5 期，回顾其今夏参与 E.U.、U.K.、U.S. 的 AI 监管讨论，CEO Clem 出席美国国会作证及参议院 AI Insight Forum，并提交对 E.U. AI Act 和 NTIA AI 问责制的建议。
Hugging Face BlogAI 评分3838 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。用户通过 Spaces、AutoTrain 和 ChatUI 三个工具，选用 Meta Llama 2 7b 基础模型和 Alpaca 指令数据集完成微调，再部署为可分享的聊天应用。
Hugging Face BlogAI 评分2828 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模、四种 EC2 实例（含 NVIDIA A10G 与 A100 40GB）及 1/5/10/20 并发请求，并对比了 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference 服务
Hugging Face 为 PRO 用户推出 Inference 服务，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Zephyr 7B β、Code Llama 等精选模型的专属 API 端点，由 text-generation-inference 驱动，并提升免费 Inference API 的速率限制。
Hugging Face BlogAI 评分2222 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 用 Hugging Face Inference API 托管其基于 BERT 家族、覆盖 4000+ 类别的交易分类模型，替代原有正则系统，该系统每月处理超 1 亿笔交易且负载波动大。经过三个月评估和模拟峰值负载测试后，Rocket Money 放弃 AWS Sagemaker 与自建方案，选择 Hugging Face 托管模型。