Hugging Face 推出 AraGen:基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与排行榜,采用新的 3C3H 评估指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。该排行榜采用动态评估策略,数据集与评估代码先进行三个月盲测再公开,随后更换新数据集,以缓解数据污染问题。
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与排行榜,采用新的 3C3H 评估指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。该排行榜采用动态评估策略,数据集与评估代码先进行三个月盲测再公开,随后更换新数据集,以缓解数据污染问题。
Capital Fund Management(CFM)借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核,微调出的小模型在金融命名实体识别上准确率最高提升 6.4%,推理成本较大模型低至 80 倍。
Hugging Face 发布开源开发者指南,解读已正式生效的欧盟 AI 法案(EU AI Act)。法案按风险分级监管,仅通用目的 AI(GPAI)模型被直接监管,训练算力超 10^25 FLOPs 的模型被认定存在系统性风险。多数开源项目只需提供清晰文档、模型信息披露并遵守现有版权与隐私规则,Hugging Face 提供模型卡、数据集卡、Gradio 水印及个人数据脱敏等工具协助合规。
Hugging Face 发布 SmolVLM,一个 2B 参数的小型视觉语言模型家族,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:原文给出 2B 视觉语言模型的显存占用、吞吐对比和完整开源训练流程,便于判断端侧多模态的落地空间。
Hugging Face 正为 Hub 重新设计上传与下载架构,引入内容寻址存储(CAS)并构建自定义传输协议,采用"读路径简单、写路径智能"的思路,按字节级分析文件以加速大文件传输。
Hugging Face 博客介绍 LayerSkip 提出的自推测解码,用同一 LLM 的浅层生成 draft token、深层负责验证,无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件在 16 项任务上评估日语大语言模型,涵盖自然语言推理、机器翻译、摘要、问答、代码生成、数学推理和考试题等,任务以 4-shot 方式运行。数据集由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整,部分任务需要长上下文推理。
Hugging Face 的 Xet 团队正用内容定义分块(CDC)把文件拆成可变大小的块,只传输和存储被修改的块,从而提升存储效率与迭代速度。在 CORD-19 数据集基准中,Xet 后端相比 Git LFS 平均下载时间从 51 分钟降至 19 分钟、上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face 博客发布 Judge Arena,一个让用户对两个 LLM 裁判的评分和理由进行投票对比的平台,投票结果汇总为 Elo 排行榜并每小时更新。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、SQL Console 及 Pandas、DuckDB 等第三方库的一行代码加载支持。Xet 团队正将单文件上限从 50 GB 提升至 500 GB,同时改进存储与传输效率。数据集可设为公开、私有或门控访问,Nvidia、Google、NASA 等机构已在使用。
Hugging Face 与 PyCharm 完成集成,开发者可在代码中右键选择 "Insert HF Model",直接调用 Hugging Face Hub 上的模型。
Argilla 2.4 推出无需代码的数据集构建功能,用户可直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,社区用户可直接参与标注,整个流程不到 5 分钟。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,目前仅支持公开数据集,私有数据集支持仍在征询反馈中。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换让目标模型与任意模型族的助手模型配对,从而加速推理。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的通用辅助生成方法,读者可了解其如何让任意小模型充当助手并带来 1.5x-2.0x 推理加速。
CGIAR 与 Digital Green 在 Hugging Face 专家支持下为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评估体系,用于衡量 RAG 回答的质量、简洁度与准确性。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类表现曾超最佳商业视觉模型 25%、开源模型 65%。2.0 版与 Hugging Face 合作,针对退化问题、视觉依赖和难度评估等局限进行优化。
Hugging Face 发布生成式 AI 服务 HUGS,基于 Text Generation Inference 和 Transformers 构建,提供零配置的优化推理微服务,可在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化推理部署压缩到零配置,读者可据此判断自托管开源模型的门槛与成本变化。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:原文给出了水印的配置参数、检测器训练流程与已知局限,读者可据此判断该方案在自家生成链路中的落地条件。
Hugging Face 宣布与 Protect AI 合作,将 Guardian 作为第三方扫描器集成到其模型扫描套件中,用于检测 pickle 等序列化格式的任意代码执行漏洞。所有公开模型仓库在推送文件后将自动被 Guardian 扫描,无需用户操作。Hugging Face 表示目前已扫描数亿个文件,但由于平台有超过 100 万个模型仓库,扫描结果可能不会立即显示。
Hugging Face 发布 Speech-to-Speech(S2S)级联流水线,串联 VAD、STT、语言模型与 TTS,支持英语、法语、西班牙语、中文、日语和韩语,可用单语言模式或 auto 标志自动检测语言。由于本地运行对算力要求高、易出现延迟,官方给出用自定义 Docker 镜像将其部署到 Hugging Face Inference Endpoints 的分步指南。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方发布说明列出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的可用边界。
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,已集成进 outlines 并放出 Python 绑定。
Stable Diffusion 3.5 已在 Hugging Face Hub 上线并可通过 Diffusers 使用,发布包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:Stable Diffusion 3.5 Large 已在 Hub 上线并接入 Diffusers,文中给出量化推理与 LoRA 训练的完整代码路径。
Keras 从 day 1 起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时会在运行中即时完成。
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积后损失与全批量训练不一致,正确做法应是累积步内总损失除以全部非 padding token 数,而非各批次损失的平均值。
Hugging Face 与 AMD 合作验证了基于 Zen5 架构的第五代 EPYC(Turin)CPU 对 Hugging Face 生态的支持,在 Meta Llama 3.1 8B 推理测试中,128 核 Turin 相比 96 核 Genoa 在多数配置下吞吐量提升约 2 倍。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的全部安全风险已在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 与 Dask 结合,用 FineWeb-Edu 分类器对 FineWeb 数据集做教育价值打分,从本地 pandas 处理 100 行扩展到 Dask 在云端多 GPU 上并行处理 2.11 亿行。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 把 SSR、低延迟流式和安全审计打包进稳定版,可据此判断现有 ML 演示应用是否需要升级。
Intel Labs 与 Hugging Face 提出动态推测解码,通过按助手模型置信度动态调整每轮草稿 token 数量,文本生成最高提速 2.7 倍。该方法自 Transformers 4.45.0 起成为辅助生成的默认模式,在 Llama3.1-8B 搭配 Llama3.2-1B 上实现最高 1.52 倍加速,而启发式方法无明显提速。
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了去重表现:追加 1 万行可去重 99.1%,仅需额外 20MB;但修改一行因列头含绝对偏移量只去重 89%,需额外 230MB,删除一行则导致后半文件全部重写。团队提出改用相对偏移量、对行组做内容定义分块(CDC)等改进思路,并希望与 Apache Arrow 社区合作落地。
Hugging Face 发布 Open FinLLM Leaderboard,为金融场景提供专门的 LLM 评测框架,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测,使用 Accuracy、F1、ROUGE 和 MCC 等指标,数据集来自金融行业真实挑战,如信用评分、欺诈检测和股价走势预测。
非凡研究 6 月报告显示,全球 1500 家活跃 AI 公司中 751 家位于中国,其中 103 家已出海扩张。腾讯云、华为、阿里等巨头聚焦东南亚与中东的云和 AI 基础设施,字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿、累计移动端收入达 1.25 亿美元。
Hugging Face 推出 BenCzechMark,这是首个面向捷克语的大语言模型综合评测套件,包含 9 大类共 50 项任务,其中 90% 为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型,任务覆盖阅读理解、事实知识、捷克语理解、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布教程,介绍如何将顶点着色网格转换为 UV 贴图纹理网格,并开源了实现该流程的 InstantTexture 库,可通过 pip 安装后一行代码完成 .obj 到 .glb 的转换。教程用 xatlas 生成 UV 贴图,再经重心坐标插值填充纹理,并用修复、中值滤波、高斯模糊和 LANCZOS 下采样消除纹理空洞。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包括 11B 和 90B 两个尺寸的视觉模型(各含 base 与指令微调版)以及 1B、3B 端侧文本模型,均已上线 Hugging Face Hub。
推荐理由:Meta 与 Hugging Face 同步放出 10 个开放权重模型,含 11B/90B 视觉版与 1B/3B 端侧文本版,可据此判断本地多模态与端侧部署的可行边界。
Hugging Face 的 Daily Papers 页面已收录超过 3,700 篇论文、订阅数突破 12k,作者可一键认领论文并关联到自己的账号。该页面还支持所有用户提交论文、在评论区与作者直接讨论、通过 @librarian-bot 推荐相似论文,以及多语言评论与内置翻译。论文页右侧集中展示关联的模型、数据集和 demo,用户可通过点赞支持论文,并订阅每日(周末除外)论文更新邮件。
Hugging Face 构建了 FineVideo 数据集,包含 4.3 万个视频、总计 3.4 千小时,并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万个英文视频出发,经词密度与视觉动态性过滤后,用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR,并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署,减少依赖。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,用 BitNet 的三值权重(-1、0、1)架构微调 Llama3 8B,并在 HF1BitLLM 组织下开源了三个模型。
Hugging Face Hub 为数据集上线 SQL Console,点击数据集上的 SQL Console 徽标即可在浏览器内直接查询数据。该控制台由 DuckDB WASM 驱动,无需后端,支持完整 DuckDB SQL 语法、结果导出为 parquet 以及公开数据集查询结果链接分享。