Prezi 如何借助 Hugging Face Hub 与专家支持计划加速多模态 ML 路线图
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program，将更小、更高效的开放模型整合进其 ML 工作流。Prezi 旗舰产品 Prezi AI 结合视觉模型、文本模型和 VLM，专家建议其加入开源 re-ranker 模型以更低成本、更快、更好地为演示文稿匹配图文素材。
#部署/工程
Hugging Face BlogAI 评分1212
OpenAI NewsAI 评分1818 Paf 全员采用 ChatGPT Enterprise，用自定义 GPTs 提升开发者效率
Paf 在全公司范围采用 ChatGPT Enterprise，工程师每天使用自定义 GPTs 加速日常开发任务。Paf 还将 ChatGPT Enterprise 引入 grit:lab 编程学院，让学员从第一天起就以 AI 增强的系统架构思维学习。目前 Paf 有 70% 的员工活跃使用 ChatGPT Enterprise，覆盖财务、HR、营销和客户支持等业务团队。
Hugging Face BlogAI 评分3636 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face Blog精选AI 评分7171 Diffusers 集成 Stable Diffusion 3 Medium，含显存与性能优化
Stability AI 的 Stable Diffusion 3 Medium（2B 参数）上线 Hugging Face Hub 并接入 Diffusers，同时提供 DreamBooth 与 LoRA 训练脚本。
推荐理由：原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节，读者可据此判断显存占用与推理速度的取舍。
Hugging Face BlogAI 评分2828 Hugging Face 为 Amazon SageMaker 推出嵌入向量容器
Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA），AWS 客户可借此在 SageMaker 上部署嵌入向量模型，构建 RAG 等生成式 AI 应用。
Mistral AI精选AI 评分6262 Mistral 在 la Plateforme 推出模型微调服务并开源 mistral-finetune
Mistral AI 在 la Plateforme 上线模型定制功能，提供三条路径：开源微调代码库 mistral-finetune、平台上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
Mistral AIAI 评分1212 Mistral AI 举办微调黑客松，6月5日至30日开放报名
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松，参赛者需使用其全新微调 API 提交原创项目。前三名各获 2500 欧元 Mistral API 额度，入选者可申请 100 美元免费额度，须在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi 处理器，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速，且采样质量与自回归采样相当。
Mistral AI精选AI 评分7171 Mistral 发布首款代码模型 Codestral
Mistral 发布首款代码模型 Codestral，22B 开放权重，支持 80+ 编程语言，上下文窗口 32k，采用 fill-in-the-middle 机制补全代码和写测试。
推荐理由：Mistral 首款代码模型给出 22B 参数、32k 上下文与 80+ 语言支持，并附免费 API 与主流 IDE 集成入口。
Hugging Face BlogAI 评分3636 Hugging Face 详解 TGI Benchmarking 工具：如何权衡吞吐与延迟
Hugging Face 发布博客介绍 Text Generation Inference（TGI）配套的 TGI Benchmarking 工具，可同时测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
Hugging Face BlogAI 评分4040 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 宣布用户可直接将 Hub 上超 10 万个公开模型部署到 AWS Inferentia2，新增 14 种模型架构和 6 类机器学习任务支持，并可通过 Amazon SageMaker 或 Inference Endpoints 完成部署。
Hugging Face BlogAI 评分3030 Hugging Face Spaces 推出 Dev Mode，一键连接 VS Code 与 SSH
Hugging Face Spaces 上线 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅向 PRO 订阅用户开放，编辑后可直接在 Space 内点击 Refresh 测试，满意后再 commit 并 merge 保存。
Hugging Face BlogAI 评分3838 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分3838 Hugging Face 与微软深化合作：Azure 模型库新增 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 与 AMD 合作，为 AMD Instinct MI300 GPU 在 Hugging Face 平台提供一等公民级集成，用户无需修改代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face BlogAI 评分5858 Hugging Face 在 Transformers 中推出 KV Cache 量化功能
Hugging Face 在 Transformers 中上线 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，int4 精度下质量与 fp16 接近，int2 则出现明显下降。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 与 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 在 OPEA 开放平台上展示了用 Gaudi 2 AI 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face BlogAI 评分2222 Hugging Face 支持通过 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持用 AWS 账户将组织升级至 Enterprise Hub，订阅入口在 AWS Marketplace，价格与 Hugging Face 公开定价一致，但通过 AWS 账户计费。
Hugging Face BlogAI 评分4242 Artificial Analysis LLM 性能排行榜上线 Hugging Face
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合评估质量、价格与速度。
Hugging Face BlogAI 评分4848 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API。
OpenAI NewsAI 评分4242 OpenAI 为 API 客户推出更多企业级功能
OpenAI 为 API 客户新增更多安全功能与控制项，并更新 Assistants API，同时提供更好地管理成本的工具，以加强企业级支持。
Hugging Face BlogAI 评分2222 Gradio 如何用 Reload Mode 快速构建 AI 应用
Gradio 推出 reload mode，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
Hugging Face BlogAI 评分2222 Ryght 借助 Hugging Face 专家支持打造医疗与生命科学生成式 AI 平台
Ryght 正式公开发布面向生命科学知识工作者的免费安全平台 Ryght Preview，用于加速研究、分析与文档处理。
Hugging Face BlogAI 评分3434 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署并运行加密推理。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 合作，在 Vertex AI Model Garden 部署数千个开源 LLM
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型一键部署到 Google Cloud 的 Vertex AI 或 GKE，作为自有账号内的 API Endpoint。
Hugging Face BlogAI 评分2626 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出 DuckDB-NSQL-7B，一个专为 DuckDB SQL 设计的大语言模型，基于 Meta Llama-2-7b 微调并进一步用 DuckDB text-to-SQL 数据对精调，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3434 用 Optimum Intel 在 Xeon 上实现 7.8 倍加速的 SetFit 推理
Hugging Face 联合 Intel Labs 与 UKP Lab 开发的 SetFit 少样本微调框架，借助 Optimum Intel 在 Intel Xeon CPU 上通过训练后静态量化（PTQ）可将推理速度提升 7.8 倍。
Hugging Face BlogAI 评分4242 Hugging Face 上线 Cloudflare Workers AI 无服务器 GPU 推理
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成，让开发者以无服务器 API 方式调用开源模型，由部署在 Cloudflare 边缘数据中心的 GPU 驱动，采用按请求计费。
Hugging Face BlogAI 评分3838 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首个版本聚焦 3D 物体检测，可输出物体在三维空间中的 (x, y, z) 坐标。
Hugging Face Blog精选AI 评分6464 Hugging Face 详解嵌入向量二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入向量的二值量化与标量（int8）量化，用于降低检索的内存、磁盘占用和成本。二值量化把 float32 值转为 1 bit，内存与存储减少 32 倍，配合 rescoring 可保留约 96% 的检索性能；int8 量化减少 4 倍，性能保留约 99.3%。
推荐理由：原文给出二值与标量量化的实测数据与代码示例，读者可据此评估检索成本与性能的取舍。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术人群的 Transformers 入门指南，无需 Python 基础即可上手。教程以在 Hugging Face Space 的 JupyterLab 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G Small GPU（24GB 显存，每小时几美元）。文中还介绍了 Transformers 库、Hub 与 Spaces 的基本概念。
Hugging Face BlogAI 评分3636 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成推理。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 和 MPS 等任意设备上运行。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 NVIDIA 推出 Train on DGX Cloud，可在 Hub 内用 H100 微调模型
Hugging Face 与 NVIDIA 合作推出 Train on DGX Cloud，Enterprise Hub 组织可在 Hugging Face Hub 内通过 AutoTrain 和 Spaces 以无代码方式创建训练任务，运行在 NVIDIA DGX Cloud 的 H100 GPU 上。
推荐理由：原文给出无代码训练入口、支持模型清单和按分钟计费价格，读者可据此估算在 H100 上微调的成本。
Hugging Face BlogAI 评分3434 使用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布教程，展示如何借助 Optimum Intel 与 IPEX 在英特尔 Xeon CPU 上加速 BGE 嵌入模型，并集成进 fastRAG 的 RAG 流程。优化聚焦 45M、110M、355M 参数的 BGE small、base、large 三款模型，通过 int8 量化、bf16 及 AMX 加速降低单条查询延迟并提升吞吐。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2 系列（7b、13b、70b）文本生成。
Mistral AI精选AI 评分8282 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布旗舰文本生成模型 Mistral Large，通过 la Plateforme 和 Azure 提供，官方称其推理能力达到顶级水平，是 API 可用的全球第二强模型（仅次于 GPT-4）。
推荐理由：官方给出 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其旗舰定位与多语言、函数调用能力。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面接入
Google 发布开源大模型系列 Gemma，包含 2B 和 7B 两个尺寸，各有基础版和指令微调版，上下文长度 8K tokens，可运行在消费级硬件上。Hugging Face 宣布全面支持，提供 Transformers 集成、Google Cloud 与 Inference Endpoints 部署，以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 系列并同步接入 Hugging Face 生态，读者可了解其规格、许可与部署路径。
Hugging Face BlogAI 评分5555 Hugging Face PEFT 新增多种 LoRA 合并方法
Hugging Face 的 PEFT 库新增了面向 LoRA 适配器的多种合并方法，包括 cat、linear、svd、ties、dare 和 magnitude_prune 等，可通过 add_weighted_adapter() 调用。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，面向全球开发者开放生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。