Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 发布 Accelerate 1.0.0 首个候选版本，可通过 pip install --pre accelerate 或 Docker 镜像试用。
#部署/工程
Hugging Face BlogAI 评分3636
OpenAI NewsAI 评分2222 Ada 如何用 GPT-4 树立客户服务新标准
Ada 借助 GPT-4 提升客户服务标准。该案例展示了 GPT-4 在客户服务场景中的实际应用。
Hugging Face BlogAI 评分3838 Hugging Face LeRobot 用视频编码扩展机器人数据集
Hugging Face 的 LeRobot 项目提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积降至原始版本的 14%，最佳情况可达 0.2%，同时保持完整训练能力。解码单帧耗时与加载压缩图片相当，连续多帧解码仅为后者的 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分3636 Hugging Face 上 5 个最被低估的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 与 Nomic Atlas
Hugging Face Hub 拥有超 85 万个公开模型、每月新增约 5 万个，但其中 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 五项工具常被忽视。
Hugging Face BlogAI 评分3636 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，介绍如何在 Google Cloud Vertex AI 上以 FP8 量化版本部署 Meta Llama 3.1 405B Instruct，运行于配备 8 块 H100 GPU 的 A3 节点，并使用 Text Generation Inference（TGI）与 Hugging Face 深度学习容器（DLC）。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一份代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用，几乎无需针对模型做改动。
推荐理由：原文给出跨模型统一工具调用接口与 Transformers 辅助函数，读者可据此判断迁移成本与复用方式。
Mistral AIAI 评分4747 Mistral AI 推出模型定制、Agents 早期版与 mistralai 1.0 SDK
Mistral AI 在 La Plateforme 上线模型定制功能，支持对 Mistral Large 2 和 Codestral 等旗舰及专用模型进行 base prompt、few-shot 提示或微调，并可自带数据集。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出结构化输出
OpenAI 在 API 中推出结构化输出（Structured Outputs），模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由：OpenAI 在 API 中引入结构化输出，模型输出可稳定遵循开发者提供的 JSON Schema，便于判断对现有集成方式的影响。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 token、2FA、commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化安全扫描。Enterprise Hub 用户还可使用 SAML 2.0 与 OIDC 协议的 SSO、Resource Groups 等高级控制。
Hugging Face BlogAI 评分3636 用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散管线显存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化为 FP8 后，SD3 推理显存从 16.403 GB 降至约 8.2 GB，质量几乎无损、延迟略增。
Hugging Face BlogAI 评分3636 Hugging Face 与 NVIDIA 推出 NVIDIA NIM API 无服务器推理服务
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），可在 Hugging Face Hub 内用标准化 API 对 Llama、Mistral 等开源模型运行推理。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。官方称其在 MMLU 上达到 84.0% 准确率，代码与推理表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，并针对减少幻觉和指令遵循做了优化。
推荐理由：Mistral Large 2 以 123B 参数实现单节点高吞吐，并给出与 GPT-4o、Claude 3 Opus 的对比数据，便于判断开源模型的性能成本位置。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.1：8B、70B 与 405B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列开源模型，包含 8B、70B、405B 三种规模，各有基础版和指令微调版，上下文长度从 8K 提升到 128K token，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。
推荐理由：Meta 发布 Llama 3.1 三档开源模型，128K 上下文与工具调用能力配合更宽松的许可证，读者可据此判断开源模型在合成数据与蒸馏上的可用边界。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：原文给出把 Mistral 7B 转成 Core ML 并在 Mac 上以不到 4GB 内存运行的完整步骤，可迁移到其他模型转换。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务，一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Hugging Face BlogAI 评分4141 Hugging Face 与 KerasHub 集成：Transformers 模型可直接加载
Hugging Face 与 KerasHub 实现共享模型保存格式，Hub 上 300K+ 个 Transformers 模型现可直接加载进 KerasHub，首批支持 Gemma 1/2、Llama 3 和 PaliGemma。KerasHub 模型可在 TensorFlow、JAX、PyTorch 后端间无缝切换，需将 keras 升级至 3.3.3 以上。
Hugging Face BlogAI 评分4040 Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU
Hugging Face 宣布其 Inference Endpoints 和 Spaces 现已支持 Google Cloud TPU v5e，提供 v5litepod-1（1 核 16 GB，$1.375/小时）、v5litepod-4（4 核 64 GB，$5.50/小时）和 v5litepod-8（8 核 128 GB，$11.00/小时）三种配置。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分1212 Prezi 如何借助 Hugging Face Hub 与专家支持计划加速多模态 ML 路线图
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program，将更小、更高效的开放模型整合进其 ML 工作流。Prezi 旗舰产品 Prezi AI 结合视觉模型、文本模型和 VLM，专家建议其加入开源 re-ranker 模型以更低成本、更快、更好地为演示文稿匹配图文素材。
OpenAI NewsAI 评分1818 Paf 全员采用 ChatGPT Enterprise，用自定义 GPTs 提升开发者效率
Paf 在全公司范围采用 ChatGPT Enterprise，工程师每天使用自定义 GPTs 加速日常开发任务。Paf 还将 ChatGPT Enterprise 引入 grit:lab 编程学院，让学员从第一天起就以 AI 增强的系统架构思维学习。目前 Paf 有 70% 的员工活跃使用 ChatGPT Enterprise，覆盖财务、HR、营销和客户支持等业务团队。
Hugging Face BlogAI 评分3636 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face Blog精选AI 评分7171 Diffusers 集成 Stable Diffusion 3 Medium，含显存与性能优化
Stability AI 的 Stable Diffusion 3 Medium（2B 参数）上线 Hugging Face Hub 并接入 Diffusers，同时提供 DreamBooth 与 LoRA 训练脚本。
推荐理由：原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节，读者可据此判断显存占用与推理速度的取舍。
Hugging Face BlogAI 评分2828 Hugging Face 为 Amazon SageMaker 推出嵌入向量容器
Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA），AWS 客户可借此在 SageMaker 上部署嵌入向量模型，构建 RAG 等生成式 AI 应用。
Mistral AI精选AI 评分6262 Mistral 在 la Plateforme 推出模型微调服务并开源 mistral-finetune
Mistral AI 在 la Plateforme 上线模型定制功能，提供三条路径：开源微调代码库 mistral-finetune、平台上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
Mistral AIAI 评分1212 Mistral AI 举办微调黑客松，6月5日至30日开放报名
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松，参赛者需使用其全新微调 API 提交原创项目。前三名各获 2500 欧元 Mistral API 额度，入选者可申请 100 美元免费额度，须在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi 处理器，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速，且采样质量与自回归采样相当。
Mistral AI精选AI 评分7171 Mistral 发布首款代码模型 Codestral
Mistral 发布首款代码模型 Codestral，22B 开放权重，支持 80+ 编程语言，上下文窗口 32k，采用 fill-in-the-middle 机制补全代码和写测试。
推荐理由：Mistral 首款代码模型给出 22B 参数、32k 上下文与 80+ 语言支持，并附免费 API 与主流 IDE 集成入口。
Hugging Face BlogAI 评分3636 Hugging Face 详解 TGI Benchmarking 工具：如何权衡吞吐与延迟
Hugging Face 发布博客介绍 Text Generation Inference（TGI）配套的 TGI Benchmarking 工具，可同时测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
Hugging Face BlogAI 评分4040 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 宣布用户可直接将 Hub 上超 10 万个公开模型部署到 AWS Inferentia2，新增 14 种模型架构和 6 类机器学习任务支持，并可通过 Amazon SageMaker 或 Inference Endpoints 完成部署。
Hugging Face BlogAI 评分3030 Hugging Face Spaces 推出 Dev Mode，一键连接 VS Code 与 SSH
Hugging Face Spaces 上线 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅向 PRO 订阅用户开放，编辑后可直接在 Space 内点击 Refresh 测试，满意后再 commit 并 merge 保存。
Hugging Face BlogAI 评分3838 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分3838 Hugging Face 与微软深化合作：Azure 模型库新增 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 与 AMD 合作，为 AMD Instinct MI300 GPU 在 Hugging Face 平台提供一等公民级集成，用户无需修改代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face BlogAI 评分5858 Hugging Face 在 Transformers 中推出 KV Cache 量化功能
Hugging Face 在 Transformers 中上线 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，int4 精度下质量与 fp16 接近，int2 则出现明显下降。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 与 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 在 OPEA 开放平台上展示了用 Gaudi 2 AI 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face BlogAI 评分2222 Hugging Face 支持通过 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持用 AWS 账户将组织升级至 Enterprise Hub，订阅入口在 AWS Marketplace，价格与 Hugging Face 公开定价一致，但通过 AWS 账户计费。
Hugging Face BlogAI 评分4242 Artificial Analysis LLM 性能排行榜上线 Hugging Face
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合评估质量、价格与速度。
Hugging Face BlogAI 评分4848 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API。
OpenAI NewsAI 评分4242 OpenAI 为 API 客户推出更多企业级功能
OpenAI 为 API 客户新增更多安全功能与控制项，并更新 Assistants API，同时提供更好地管理成本的工具，以加强企业级支持。