Argilla 2.4 发布:无需代码即可在 Hugging Face Hub 上构建微调与评测数据集
Argilla 2.4 推出无需代码的数据集构建功能,用户可直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,社区用户可直接参与标注,整个流程不到 5 分钟。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,目前仅支持公开数据集,私有数据集支持仍在征询反馈中。
Argilla 2.4 推出无需代码的数据集构建功能,用户可直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,社区用户可直接参与标注,整个流程不到 5 分钟。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,目前仅支持公开数据集,私有数据集支持仍在征询反馈中。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换让目标模型与任意模型族的助手模型配对,从而加速推理。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的通用辅助生成方法,读者可了解其如何让任意小模型充当助手并带来 1.5x-2.0x 推理加速。
CGIAR 与 Digital Green 在 Hugging Face 专家支持下为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评估体系,用于衡量 RAG 回答的质量、简洁度与准确性。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类表现曾超最佳商业视觉模型 25%、开源模型 65%。2.0 版与 Hugging Face 合作,针对退化问题、视觉依赖和难度评估等局限进行优化。
Hugging Face 发布生成式 AI 服务 HUGS,基于 Text Generation Inference 和 Transformers 构建,提供零配置的优化推理微服务,可在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化推理部署压缩到零配置,读者可据此判断自托管开源模型的门槛与成本变化。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:原文给出了水印的配置参数、检测器训练流程与已知局限,读者可据此判断该方案在自家生成链路中的落地条件。
Hugging Face 宣布与 Protect AI 合作,将 Guardian 作为第三方扫描器集成到其模型扫描套件中,用于检测 pickle 等序列化格式的任意代码执行漏洞。所有公开模型仓库在推送文件后将自动被 Guardian 扫描,无需用户操作。Hugging Face 表示目前已扫描数亿个文件,但由于平台有超过 100 万个模型仓库,扫描结果可能不会立即显示。
Hugging Face 发布 Speech-to-Speech(S2S)级联流水线,串联 VAD、STT、语言模型与 TTS,支持英语、法语、西班牙语、中文、日语和韩语,可用单语言模式或 auto 标志自动检测语言。由于本地运行对算力要求高、易出现延迟,官方给出用自定义 Docker 镜像将其部署到 Hugging Face Inference Endpoints 的分步指南。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方发布说明列出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的可用边界。
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,已集成进 outlines 并放出 Python 绑定。
Stable Diffusion 3.5 已在 Hugging Face Hub 上线并可通过 Diffusers 使用,发布包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:Stable Diffusion 3.5 Large 已在 Hub 上线并接入 Diffusers,文中给出量化推理与 LoRA 训练的完整代码路径。
Keras 从 day 1 起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时会在运行中即时完成。
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积后损失与全批量训练不一致,正确做法应是累积步内总损失除以全部非 padding token 数,而非各批次损失的平均值。
Hugging Face 与 AMD 合作验证了基于 Zen5 架构的第五代 EPYC(Turin)CPU 对 Hugging Face 生态的支持,在 Meta Llama 3.1 8B 推理测试中,128 核 Turin 相比 96 核 Genoa 在多数配置下吞吐量提升约 2 倍。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的全部安全风险已在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 与 Dask 结合,用 FineWeb-Edu 分类器对 FineWeb 数据集做教育价值打分,从本地 pandas 处理 100 行扩展到 Dask 在云端多 GPU 上并行处理 2.11 亿行。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 把 SSR、低延迟流式和安全审计打包进稳定版,可据此判断现有 ML 演示应用是否需要升级。
Intel Labs 与 Hugging Face 提出动态推测解码,通过按助手模型置信度动态调整每轮草稿 token 数量,文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式,在 Llama3.1-8B 搭配 Llama3.2-1B 上实现最高 1.52 倍加速,而启发式方法无明显提速。
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了去重表现:追加 1 万行可去重 99.1%,仅需额外 20MB;但修改一行因列头含绝对偏移量只去重 89%,需额外 230MB,删除一行则导致后半文件全部重写。团队提出改用相对偏移量、对行组做内容定义分块(CDC)等改进思路,并希望与 Apache Arrow 社区合作落地。
Hugging Face 发布 Open FinLLM Leaderboard,为金融场景提供专门的 LLM 评测框架,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测,使用 Accuracy、F1、ROUGE 和 MCC 等指标,数据集来自金融行业真实挑战,如信用评分、欺诈检测和股价走势预测。
非凡研究 6 月报告显示,全球 1500 家活跃 AI 公司中 751 家位于中国,其中 103 家已出海扩张。腾讯云、华为、阿里等巨头聚焦东南亚与中东的云和 AI 基础设施,字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿、累计移动端收入达 1.25 亿美元。
Hugging Face 推出 BenCzechMark,这是首个面向捷克语的大语言模型综合评测套件,包含 9 大类共 50 项任务,其中 90% 为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型,任务覆盖阅读理解、事实知识、捷克语理解、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布教程,介绍如何将顶点着色网格转换为 UV 贴图纹理网格,并开源了实现该流程的 InstantTexture 库,可通过 pip 安装后一行代码完成 .obj 到 .glb 的转换。教程用 xatlas 生成 UV 贴图,再经重心坐标插值填充纹理,并用修复、中值滤波、高斯模糊和 LANCZOS 下采样消除纹理空洞。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包括 11B 和 90B 两个尺寸的视觉模型(各含 base 与指令微调版)以及 1B、3B 端侧文本模型,均已上线 Hugging Face Hub。
推荐理由:Meta 与 Hugging Face 同步放出 10 个开放权重模型,含 11B/90B 视觉版与 1B/3B 端侧文本版,可据此判断本地多模态与端侧部署的可行边界。
Hugging Face 的 Daily Papers 页面已收录超过 3,700 篇论文、订阅数突破 12k,作者可一键认领论文并关联到自己的账号。该页面还支持所有用户提交论文、在评论区与作者直接讨论、通过 @librarian-bot 推荐相似论文,以及多语言评论与内置翻译。论文页右侧集中展示关联的模型、数据集和 demo,用户可通过点赞支持论文,并订阅每日(周末除外)论文更新邮件。
Hugging Face 构建了 FineVideo 数据集,包含 4.3 万个视频、总计 3.4 千小时,并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万个英文视频出发,经词密度与视觉动态性过滤后,用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR,并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署,减少依赖。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,用 BitNet 的三值权重(-1、0、1)架构微调 Llama3 8B,并在 HF1BitLLM 组织下开源了三个模型。
Hugging Face Hub 为数据集上线 SQL Console,点击数据集上的 SQL Console 徽标即可在浏览器内直接查询数据。该控制台由 DuckDB WASM 驱动,无需后端,支持完整 DuckDB SQL 语法、结果导出为 parquet 以及公开数据集查询结果链接分享。
Hugging Face 在 HuggingChat 上线 Community Tools,用户可把任意公开 Space 转成模型可直接调用的工具,并借此扩展图像理解、视频生成和文本转语音等多模态能力。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本,可通过 pip install --pre accelerate 或 Docker 镜像试用。
Hugging Face 的 LeRobot 项目提出 LeRobotDataset 格式,用视频编码存储机器人数据集的视觉模态,平均体积降至原始版本的 14%,最佳情况可达 0.2%,同时保持完整训练能力。解码单帧耗时与加载压缩图片相当,连续多帧解码仅为后者的 25%-50%,并原生集成 Hub 与可视化工具。
Hugging Face Hub 拥有超 85 万个公开模型、每月新增约 5 万个,但其中 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 五项工具常被忽视。
Hugging Face 在 Transformers 中推出 DataCollatorWithFlattening,让无 padding 的打包指令微调与 Flash Attention 2 兼容,训练吞吐最高提升 2 倍。
Hugging Face 发布教程,介绍如何在 Google Cloud Vertex AI 上以 FP8 量化版本部署 Meta Llama 3.1 405B Instruct,运行于配备 8 块 H100 GPU 的 A3 节点,并使用 Text Generation Inference(TGI)与 Hugging Face 深度学习容器(DLC)。
Hugging Face 团队复现 Google 的 Infini-Attention 后发现,随着记忆压缩次数增加,模型性能持续下降,该实验被判定为失败。团队认为 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案,并开源了训练 checkpoint 供测试。
Hugging Face 发布 ggml 入门指南,介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一份代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,几乎无需针对模型做改动。
推荐理由:原文给出跨模型统一工具调用接口与 Transformers 辅助函数,读者可据此判断迁移成本与复用方式。
阿布扎比 TII 发布 Falcon Mamba 7B,称其为首个大规模通用纯 Mamba 模型,采用开放许可并已上线 Hugging Face 生态。该模型基于原始 Mamba 架构并加入额外 RMS 归一化层以稳定大规模训练,用约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,单张 A10 24GB GPU 即可运行。
推荐理由:TII 发布首个大规模纯 Mamba 架构 7B 模型,并给出与同规模 Transformer 的基准和长序列内存对比。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入,创始人此前在 Apple 构建并扩展内部 ML 基础设施。XetHub 的技术让 Git 可扩展到 TB 级仓库,HF CTO Julien Chaumond 表示团队将帮助 Hub 把存储后端换成自研的 LFS 替代方案。
推荐理由:Hugging Face 收购 XetHub 并计划替换 Hub 的 Git LFS 存储后端,读者可了解大文件版本管理将如何变化。