BigCodeBench:下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench,包含 1140 个函数级任务,要求 LLM 调用 139 个库中的多个函数作为工具,每项任务平均 5.6 个测试用例、分支覆盖率 99%。
Hugging Face 发布 BigCodeBench,包含 1140 个函数级任务,要求 LLM 调用 139 个库中的多个函数作为工具,每项任务平均 5.6 个测试用例、分支覆盖率 99%。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)上线 Hugging Face Hub 并接入 Diffusers,同时提供 DreamBooth 与 LoRA 训练脚本。
推荐理由:原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节,读者可据此判断显存占用与推理速度的取舍。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)训练器,作为 PPO 之外的在线 RLHF 训练算法。官方称 RLOO 只需加载策略模型、参考策略模型和奖励模型三份模型,显存占用比 PPO 少约 50-70%,1B 模型上速度是 PPO 的 2 倍、6.9B 模型上最高 3 倍。
推荐理由:原文给出 RLOO 与 PPO 在显存、速度和胜率上的对比数据,可据此判断在线 RLHF 训练的成本取舍。
Hugging Face 宣布将重新设计 Transformers 文档,原因是现有文档内容零散、导航困难且过时。新文档将面向构建 AI 产品的开发者,采用代码优先和解决方案导向的方式,并用更灵活的结构替代 Diátaxis 的刚性框架,让内容自然生长与整合。
Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可借此在 SageMaker 上部署嵌入向量模型,构建 RAG 等生成式 AI 应用。
Artificial Analysis 发布文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 联合 Cubzh 与 Gigax 发布 NPC-Playground,一个可在浏览器中直接体验的 3D 演示,让玩家与 LLM 驱动的 NPC 互动,并用几行 Lua 脚本教它们新技能。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi 处理器,现已集成进 Optimum Habana。该方法基于 Speculative Sampling,用草稿模型生成 K 个 token 再由目标模型评估,大型 Transformer 模型通常可获得约 2x 加速,且采样质量与自回归采样相当。
Hugging Face 称本周早些时候发现其 Spaces 平台遭未授权访问,怀疑部分 Spaces secrets 可能被读取,已撤销其中涉及的若干 HF token 并邮件通知相关用户。
Hugging Face 发布博客介绍 Text Generation Inference(TGI)配套的 TGI Benchmarking 工具,可同时测量吞吐量与延迟,帮助用户按需调优 LLM 部署。
Hugging Face 发布博客,介绍如何用 Sentence Transformers 库微调嵌入向量模型,也可从零训练新模型。训练涉及数据集、损失函数、训练参数、评估器和 Trainer 五大组件,数据可来自 Hugging Face Hub 或本地 CSV、JSON、Parquet、Arrow、SQL 格式。
TII 发布第二代 Falcon 2 模型,包括 11B 基座语言模型和具备图像理解能力的 11B VLM,训练数据超过 5000B tokens,覆盖英语及另外十种语言。
推荐理由:原文给出 Falcon 2 11B 的架构、训练数据与评测对比,可据此判断小尺寸开源模型与多模态路线的取舍。
Hugging Face 宣布用户可直接将 Hub 上超 10 万个公开模型部署到 AWS Inferentia2,新增 14 种模型架构和 6 类机器学习任务支持,并可通过 Amazon SageMaker 或 Inference Endpoints 完成部署。
Hugging Face Spaces 上线 Dev Mode,支持一键从 VS Code 或 SSH 直连 Space 编辑代码,无需再用 git 推送本地改动。该功能目前处于 beta 阶段,仅向 PRO 订阅用户开放,编辑后可直接在 Space 内点击 Refresh 测试,满意后再 commit 并 merge 保存。
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub,可在 Dell 平台上本地训练和部署开源模型,将数周的工程工作缩短至几分钟。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection,支持从 Azure AI Studio 一键部署。
Hugging Face 与 AMD 合作,为 AMD Instinct MI300 GPU 在 Hugging Face 平台提供一等公民级集成,用户无需修改代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face 在 Transformers 中上线 KV Cache 量化功能,通过降低 KV 缓存精度减少长上下文生成的内存占用,int4 精度下质量与 fp16 接近,int2 则出现明显下降。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:Google 开源视觉语言模型 PaliGemma 的完整发布说明,含架构、三种 checkpoint 与微调路径,便于判断适用场景。
Hugging Face 与 LangChain 联合推出合作包 langchain_huggingface,这是一个由双方共同维护的 Python 包,旨在将 Hugging Face 最新能力更快带入 LangChain 生态。
Hugging Face 发布 Open Arabic LLM Leaderboard(OALL),用于评估和比较阿拉伯语大语言模型性能,服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体类型之外新增可基于历史观察迭代的 ReactAgent 等两类智能体,并加入共享功能。
推荐理由:官方给出新智能体框架的模块划分与 GAIA 榜单成绩,可据此判断开源智能体方案的可用性。
Hugging Face 现已支持用 AWS 账户将组织升级至 Enterprise Hub,订阅入口在 AWS Marketplace,价格与 Hugging Face 公开定价一致,但通过 AWS 账户计费。
Hugging Face 发布希伯来语 LLM 开放排行榜,用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准,采用 few-shot 提示格式,模型通过 HuggingFace Inference Endpoints 部署并由 lighteval 库评估。
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face,覆盖超过 100 个 serverless LLM API 端点,综合评估质量、价格与速度。
Hugging Face 发布自定义推理 handler 方案,在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API。
Hugging Face 排行榜与评测团队发现,同一 MMLU 任务仅改变提示词格式,5 个模型的得分波动约 10 分,Qwen1.5-7B 甚至从 51.2% 跌至 22.9%,模型排名也随之改变。为此他们与 .txt 合作,尝试用 Outlines 库的结构化生成约束模型输出,以减少提示词格式带来的评测方差。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全自对齐、全透明且许可宽松的代码大语言模型,无需人工标注或从 GPT-4 等专有模型蒸馏数据。
推荐理由:StarCoder2-15B-Instruct 用自生成数据完成指令微调,其开源流程与评测对比可供代码模型训练参考。
Hugging Face 发布 Open CoT Leaderboard,不评模型绝对准确率,而是对比有无链式推理提示时的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务,已实现 Classic 与 Reflect 两种提示策略,并称对训练数据污染更具鲁棒性。
Hugging Face 发布 Jack of All Trades(JAT)项目,开源首个通用智能体训练数据集 JAT dataset 及基于 GPT-Neo 的 Transformer 智能体模型,可玩视频游戏、控制机器人并执行导航指令。
Hugging Face 推出 Open Medical-LLM Leaderboard,用统一平台评测大语言模型在医疗任务上的表现,以准确率为主要指标,覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有基础版和指令微调版,并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步落地 Hugging Face 生态,读者可据此了解新分词器、GQA 与 8K 上下文带来的变化。
Gradio 推出 reload mode,用 `gradio app.py` 替代 `python app.py` 启动应用,即可在不重启服务器的情况下拉取源码最新改动。
Hugging Face 上线 LiveCodeBench 排行榜,基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准,从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题,通过“随时间滚动”评估检测并防止数据污染。
Ryght 正式公开发布面向生命科学知识工作者的免费安全平台 Ryght Preview,用于加速研究、分析与文档处理。
Zama 团队将基于全同态加密(FHE)的 Concrete ML 预编译模型部署到 Hugging Face Endpoints,用户可通过自定义 inference handler 一键部署并运行加密推理。
Hugging Face 发布 Idefics2,一个 8B 参数、Apache 2.0 许可的多模态模型,可接受任意文本与图像序列输入并生成文本回复,支持图像问答、文档信息抽取和基础算术。
推荐理由:8B 参数、Apache 2.0 许可并同步放出多模态指令微调数据集,读者可据此判断开源多模态的可用起点。
Hugging Face 发布视觉语言模型入门文章,介绍其图像编码器、嵌入投影层与文本解码器的典型结构,并汇总 LLaVA 1.6、DeepSeek-VL、CogVLM、Qwen-VL 等开源模型的分辨率与能力差异。
推荐理由:系统梳理视觉语言模型的组成、选型榜单与微调流程,并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face 推出 Deploy on Google Cloud 集成,可将数千个开源模型一键部署到 Google Cloud 的 Vertex AI 或 GKE,作为自有账号内的 API Endpoint。