Hugging Face TGI 推出 Multi-LoRA 服务,一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器,官方称可服务 30 个模型。
推荐理由:原文给出 TGI Multi-LoRA 的部署方式与成本对比,读者可据此判断多微调模型能否合并到一次部署。
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器,官方称可服务 30 个模型。
推荐理由:原文给出 TGI Multi-LoRA 的部署方式与成本对比,读者可据此判断多微调模型能否合并到一次部署。
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能,用于支持大规模合规项目、数据安全与用户访问管理。
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性,让 AI 给出的解答更清晰、更易被验证,对人和机器都更可信。
Mistral 发布 Codestral Mamba,这是一个基于 Mamba 架构的代码模型,采用 Apache 2.0 许可,可免费使用、修改和分发。该模型为指令模型,参数量 7,285,403,648,具备线性时间推理能力,官方在最高 256k tokens 的上下文检索能力上做了测试。
推荐理由:Mistral 官方发布 Mamba 架构代码模型,给出参数量、上下文测试长度与部署方式,可对比 Transformer 路线的取舍。
Mistral AI 发布专注 STEM 与复杂多步数学推理的 Mathstral 7B,基于 Mistral 7B 构建,与 Project Numina 合作产出。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三种参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了 135M 到 1.7B 三档小模型的训练数据配方与评测对比,可据此判断端侧小模型的取舍。
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入向量模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先做 CoT 数据训练,再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由:获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计,可迁移到其他推理类竞赛或微调任务。
OpenAI 与洛斯阿拉莫斯国家实验室达成研究合作,共同开发安全评估方法,用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能,用户可查看数据集 PII 含量报告,以便在训练前决定是否进一步过滤。该功能面向含 PII 的标注数据集和大规模预训练数据集,后者虽经过滤仍可能残留少量敏感信息。数据集所有者也可用报告验证发布前的 PII 过滤流程。
Hugging Face 与 KerasHub 实现共享模型保存格式,Hub 上 300K+ 个 Transformers 模型现可直接加载进 KerasHub,首批支持 Gemma 1/2、Llama 3 和 PaliGemma。KerasHub 模型可在 TensorFlow、JAX、PyTorch 后端间无缝切换,需将 keras 升级至 3.3.3 以上。
Hugging Face 的 TRL 库现已支持视觉语言模型(VLM)的直接偏好优化(DPO),并发布使用教程。示例基于 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集,该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face 宣布其 Inference Endpoints 和 Spaces 现已支持 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作开发了一套基于 RAG 的主权数据方案,用于支持 EduRénov 校园生态改造项目,首阶段已完成。
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能,可按文本、图像、音频等模态及行数区间检索,并支持 Parquet、WebDataset 等格式和 Pandas、Dask、Datasets 库兼容性过滤。这些筛选可相互组合,并与语言、任务、许可证等已有过滤器及文本搜索栏搭配使用。
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub,可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face 用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%,排名第一,比第二名高 4 分;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:Hugging Face 用 Code Agent 在 GAIA 上取得领先,并公开了工具、执行沙箱与规划策略的实现细节。
OpenAI 推出基于 GPT-4 的 CriticGPT,用于对 ChatGPT 的回答撰写批评意见,帮助人类训练师在 RLHF 过程中发现错误。
OpenAI 与 TIME 达成战略内容合作,将接入 TIME 101 年的档案内容,用于增强模型回答并提供 Time.com 报道链接。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个参数规模,各有预训练基础版与指令微调版,上下文长度 8K tokens,采用与初代相同的宽松许可,允许再分发、微调和商用。
推荐理由:原文给出 Gemma 2 的两种参数规模、训练数据量与评测对比,可据此判断开源小模型的能力位置。
XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0,基于 Hugging Face 专家支持计划合作,在多领域专利数据上微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。该模型用于专利撰写、无效检索和新颖性比对,借助 Hugging Face Inference Endpoints 与 TEI,嵌入吞吐从约 300 个/秒提升至约 2700 个/秒。
Hugging Face 发布《伦理与社会通讯 #6》,聚焦 AI 数据质量,提出高质量数据应满足相关性、全面性、时效性和偏见缓解等要求。文章以 Reddit 与 Google 的 RAG 搜索合作为例,说明低质数据会导致"披萨加胶水"这类错误推荐。文中强调数据质量需贯穿 AI 开发全生命周期,并给出数据去重、内容过滤、人工反馈和治理框架等实践策略。
微软 6 月发布的 Florence-2 视觉语言模型提供 0.2B 和 0.7B 两个小尺寸版本,支持 captioning、目标检测、OCR 等任务,但官方模型不含 VQA 能力。作者在 DocVQA 上微调后,验证集 Levenshtein 相似度从 0 提升至 57.0,并开源了 Colab notebook 与演示 Space。
OpenAI 宣布收购 Rockset。该消息由 OpenAI 官方发布,具体交易金额与整合细节未在材料中披露。
推荐理由:OpenAI 官方宣布收购 Rockset,读者可据此了解其在数据检索与实时分析方向的布局动作。
OpenAI 公布网络安全资助计划,聚焦创新研究与 AI 在网络安全领域的整合。
OpenAI 发布训练一致性模型的改进技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样出高质量数据。
OpenAI 提出一套整体性方法,用于构建面向真实世界内容审核的鲁棒自然语言分类系统。该方法针对不良内容检测,强调在真实场景中兼顾系统的稳健性与实用性。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划发布 DIBT/10k_prompts_ranked 数据集,由 385 多人参与完成 1 万条合成与人工提示词的质量排序,并已被用于训练 SPIN 等新模型。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program,将更小、更高效的开放模型整合进其 ML 工作流。Prezi 旗舰产品 Prezi AI 结合视觉模型、文本模型和 VLM,专家建议其加入开源 re-ranker 模型以更低成本、更快、更好地为演示文稿匹配图文素材。
Paf 在全公司范围采用 ChatGPT Enterprise,工程师每天使用自定义 GPTs 加速日常开发任务。Paf 还将 ChatGPT Enterprise 引入 grit:lab 编程学院,让学员从第一天起就以 AI 增强的系统架构思维学习。目前 Paf 有 70% 的员工活跃使用 ChatGPT Enterprise,覆盖财务、HR、营销和客户支持等业务团队。
Hugging Face 发布 BigCodeBench,包含 1140 个函数级任务,要求 LLM 调用 139 个库中的多个函数作为工具,每项任务平均 5.6 个测试用例、分支覆盖率 99%。
Color Health 与 OpenAI 合作推出 Cancer Copilot,利用 GPT-4o 识别缺失的诊断检查并生成个性化检查方案,帮助医疗人员就癌症筛查和治疗做出循证决策,从而加速癌症患者获得治疗。
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入董事会,他将加入董事会的安全与安保委员会。Nakasone 为持续扩大的董事会带来网络安全经验。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)上线 Hugging Face Hub 并接入 Diffusers,同时提供 DreamBooth 与 LoRA 训练脚本。
推荐理由:原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节,读者可据此判断显存占用与推理速度的取舍。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)训练器,作为 PPO 之外的在线 RLHF 训练算法。官方称 RLOO 只需加载策略模型、参考策略模型和奖励模型三份模型,显存占用比 PPO 少约 50-70%,1B 模型上速度是 PPO 的 2 倍、6.9B 模型上最高 3 倍。
推荐理由:原文给出 RLOO 与 PPO 在显存、速度和胜率上的对比数据,可据此判断在线 RLHF 训练的成本取舍。
OpenAI 与 Apple 宣布建立合作,将 ChatGPT 集成到 Apple 的各项体验中。目前公开信息仅为这一合作声明,具体集成方式与上线范围尚未披露。
推荐理由:OpenAI 与 Apple 宣布合作,读者可据此了解 ChatGPT 进入 Apple 生态这一商业动作的基本轮廓。
OpenAI 宣布 Sarah Friar 出任首席财务官(CFO),Kevin Weil 出任首席产品官(CPO)。Sarah Friar 此前任 Nextdoor CEO,Kevin Weil 曾在 Planet 与 Twitter 任职。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理,并介绍相关安全研究。