Meta 发布开源多模态模型 Muse Glimmer,30B 参数面向本地智能体
Meta 发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体场景,可用于编码、文档分析和个人助手等隐私敏感应用。
推荐理由:Meta 开源 30B 多模态模型,主打本地智能体场景,并给出与同级模型的基准对比和部署路径。
Meta 发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体场景,可用于编码、文档分析和个人助手等隐私敏感应用。
推荐理由:Meta 开源 30B 多模态模型,主打本地智能体场景,并给出与同级模型的基准对比和部署路径。
Hugging Face 宣布 OpenEnv 改由委员会协调,成员包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Mercor、Fleet AI、Microsoft、Hugging Face 和 RadixArk,项目迁至 huggingface/OpenEnv。
推荐理由:OpenEnv 从单一项目转为多方共管的协议层,读者可据此了解开源智能体强化学习环境的标准化路径。
Google 宣布扩展内容透明度与验证工具,把 SynthID 验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome,该验证功能此前已在全球被使用 5000 万次。
推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可据此了解内容溯源工具的实际覆盖范围。
Meta 与 Hugging Face 联合推出开源框架 OpenEnv,用于让智能体连接真实工具与 API 而非模拟环境,采用 Gym 风格 API 和标准 MCP 工具调用接口。
推荐理由:Meta 与 Hugging Face 的 OpenEnv 框架及 Turing 日历环境给出了工具型智能体在权限与多步流程下的实测数据,可据此判断真实环境评测的难点。
Meta 与 Hugging Face 合作推出 OpenEnv Hub,一个面向智能体环境的开放社区共享平台,开发者可构建、分享和探索兼容 OpenEnv 的环境,用于训练和部署。
推荐理由:Meta 与 Hugging Face 联合推出智能体环境共享 Hub,并同步开放 0.1 规范草案,读者可据此了解智能体训练与部署的开放协作方式。
Hugging Face 发布 GAIA 的后续基准 Gaia2,并配套开源 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:Gaia2 把智能体评测从只读检索扩展到读写交互,并给出可复现的开源环境与调试轨迹。
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 Hugging Face "LLM with Search" 榜单上以 40.52 分登顶,成为得分最高的全开源许可方案。
Meta 发布 Llama Guard 4,一个 12B dense 多模态安全模型,以及两个 Llama Prompt Guard 2 模型(86M 和 22M 参数),模型 checkpoint 已上线 Hugging Face Hub 的 Llama 4 Collection。
推荐理由:Meta 发布 Llama Guard 4 多模态安全模型与 Prompt Guard 2,读者可了解其架构裁剪方式与相对前代的性能变化。
Meta 发布 Llama 4 Maverick(约 400B 总参数)和 Llama 4 Scout(约 109B 总参数)两款原生多模态 MoE 模型,均为 17B 激活参数,权重已上线 Hugging Face 的 meta-llama 组织。
推荐理由:Meta 发布 Llama 4 两款 MoE 多模态模型,Hugging Face 同步给出架构细节与部署方式,便于判断长上下文与端侧部署取舍。
Hugging Face 博客介绍 LayerSkip 提出的自推测解码,用同一 LLM 的浅层生成 draft token、深层负责验证,无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face 博客发布 Judge Arena,一个让用户对两个 LLM 裁判的评分和理由进行投票对比的平台,投票结果汇总为 Elo 排行榜并每小时更新。
Keras 从 day 1 起就支持 Llama 3.2,可直接从 Hugging Face 的 safetensors checkpoint 加载,包括 3.2 版本,需要转换时会在运行中即时完成。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包括 11B 和 90B 两个尺寸的视觉模型(各含 base 与指令微调版)以及 1B、3B 端侧文本模型,均已上线 Hugging Face Hub。
推荐理由:Meta 与 Hugging Face 同步放出 10 个开放权重模型,含 11B/90B 视觉版与 1B/3B 端侧文本版,可据此判断本地多模态与端侧部署的可行边界。
Hugging Face 发布教程,介绍如何在 Google Cloud Vertex AI 上以 FP8 量化版本部署 Meta Llama 3.1 405B Instruct,运行于配备 8 块 H100 GPU 的 A3 节点,并使用 Text Generation Inference(TGI)与 Hugging Face 深度学习容器(DLC)。
Meta 发布 Llama 3.1 系列开源模型,包含 8B、70B、405B 三种规模,各有基础版和指令微调版,上下文长度从 8K 提升到 128K token,支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。
推荐理由:Meta 发布 Llama 3.1 三档开源模型,128K 上下文与工具调用能力配合更宽松的许可证,读者可据此判断开源模型在合成数据与蒸馏上的可用边界。
Meta 发布 CyberSecEval 2,用于评估 LLM 生成不安全代码、协助网络攻击、被提示词注入操纵以及滥用代码解释器的风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率从 52% 降至 28%。测试还显示提示词注入仍是未解决问题,LLM 目前难以可靠完成端到端漏洞利用。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有基础版和指令微调版,并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步落地 Hugging Face 生态,读者可据此了解新分词器、GQA 与 8K 上下文带来的变化。
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类,可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2 系列(7b、13b、70b)文本生成。
Hugging Face 发布教程,介绍如何用 🤗 Transformers 微调 Wav2Vec2-BERT(facebook/w2v-bert-2.0)完成低资源 ASR。
一项对比实验用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个模型,在灾难推文分类任务上评测性能。实验在单张 48GB A6000 GPU 上进行,统一将最大序列长度设为 512 以保证公平比较,其中 RoBERTa-large 为 355M 参数基线,另两个模型均为 7B 参数规模。
Hugging Face 发布教程,展示非工程师如何零代码训练 LLaMA 2 聊天机器人。用户通过 Spaces、AutoTrain 和 ChatUI 三个工具,选用 Meta Llama 2 7b 基础模型和 Alpaca 指令数据集完成微调,再部署为可分享的聊天应用。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试,覆盖 7B、13B、70B 三种规模、四种 EC2 实例(含 NVIDIA A10G 与 A100 40GB)及 1/5/10/20 并发请求,并对比了 GPTQ 4-bit 量化效果。
Hugging Face 发布教程,介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B,并给出在 2 节点、每节点 8 张 80GB A100 上的配置。
Meta 发布 Code Llama 系列代码模型,包含 7B、13B、34B 三个参数规模,基于 Llama 2 初始化并用 5000 亿 token 代码数据训练,采用与 Llama 2 相同的社区许可并允许商用。
推荐理由:Meta 发布 Code Llama 系列并接入 Hugging Face 生态,读者可了解其参数规模、上下文窗口与多语言基准表现。
Hugging Face 在 TRL 库中上线 Direct Preference Optimization(DPO)方法,并演示如何用它在 stack-exchange 偏好数据上微调 Llama v2 7B 模型。
推荐理由:Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码,读者可据此在自有偏好数据上复现对齐训练。
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动检测语言,并通过 librarian-bots 提交 PR 补充元数据。Hub 现有约 5 万个公开数据集,但约 87% 未标注语言,仅约 13% 包含语言信息。
Meta 发布开源大语言模型家族 Llama 2,包含 7B、13B、70B 三种规模的预训练与微调版本,采用允许商用的社区许可。Hugging Face 同步完成集成,提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署,并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由:Meta 开源 Llama 2 并同步接入 Hugging Face 生态,读者可了解其许可、规模与推理微调路径。
Hugging Face 发布教程,介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层实现低资源语音识别。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 到 1B,每个 Adapter 层仅约 2.5M 权重,微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调,更省内存且性能更好。
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖 157 种语言的词向量和最新语言识别模型。用户可通过 huggingface_hub 库的 hf_hub_download 命令直接下载使用,并支持文本分类与特征提取 widget。
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程,用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习,训练管线已集成到 TRL 库。
推荐理由:Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码,读者可据此复现或迁移到自己的模型对齐任务。
红队测试通过构造自然语言提示词诱导大语言模型暴露有害输出,与对抗攻击不同,其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见,微软 Tay 和 Bing 的 Sydney 是缺乏红队评估导致灾难性后果的真实案例。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布,配套社区直播活动定于 11 月 30 日举行。
Hugging Face 博客介绍了如何利用 Wav2Vec2 的 CTC 架构特性,在 🤗 Transformers 中对任意长音频文件乃至实时语音进行高质量自动语音识别。