如何在消费级硬件上用 QLoRA 微调 FLUX.1-dev
Hugging Face 发布教程,介绍用 diffusers 库和 QLoRA 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以下。在 RTX 4090 上,QLoRA 峰值显存约 9GB,标准 BF16 LoRA 需 26GB,700 步训练约 41 分钟。
推荐理由:原文给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,可据此复现低显存训练流程。
Hugging Face 发布教程,介绍用 diffusers 库和 QLoRA 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以下。在 RTX 4090 上,QLoRA 峰值显存约 9GB,标准 BF16 LoRA 需 26GB,700 步训练约 41 分钟。
推荐理由:原文给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,可据此复现低显存训练流程。
OpenAI 研究了大语言模型在错误回答上训练后出现更广泛错位行为的机制,并识别出一个驱动该行为的内部特征,该特征可通过极少量微调被逆转。
OpenAI 正在主动评估先进 AI 在生物学和医学领域的能力,并实施防护措施以防止其被滥用。先进 AI 虽能变革生物学与医学,但也带来了生物安全风险。
OpenAI 推出 OpenAI for Government 计划,面向美国公共服务人员提供其最先进的 AI 工具,支持美国政府采用一流技术并将这些工具用于公共服务。
Groq 现已作为推理服务商接入 Hugging Face Hub,支持 Llama 4、Qwen QWQ-32B 等开源模型,并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理,采用按需付费模式,用户可用自有 API key 或通过 HF 路由调用。PRO 用户每月获 2 美元推理额度,官方 SDK 支持将在 v0.33.0 版本发布。
TNG 在 24 张 H100 上自托管多个大语言模型,服务超 50 个应用,日均消耗超 1 亿 token、生成超 1000 万 token。其分析指出,vLLM 默认的 chunked-prefill 会顺序调度不同请求的 prefill,单个长提示词请求即可阻塞后续请求,显著拉高首 token 延迟。
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub,支持 DeepSeek、Meta、Google、Qwen 等最新开源文本与对话模型,并集成到 JS 和 Python 客户端 SDK。
Hugging Face 发布 Kernel Hub,允许通过 kernels 库的 get_kernel 从 Hub 直接加载预编译优化 kernel,无需本地编译。
OpenAI 与 Mattel 达成合作,将 AI 整合进 Barbie、Hot Wheels 等经典品牌,用于提升创意开发、简化工作流程,并为粉丝创造新的互动方式。
NVIDIA 发布 Isaac GR00T N1.5,这是其开源人形机器人基础模型 GR00T N1 的首次重大更新,支持语言和图像多模态输入并可通过后训练适配不同本体。
推荐理由:原文给出从数据准备到真机部署的完整命令流程,读者可据此在低成本 SO-101 机械臂上复现微调。
Mistral AI 发布 Mistral Compute,提供从裸金属服务器到全托管 PaaS 的私有集成 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务。
推荐理由:Mistral 把自建训练与推理基础设施对外产品化,读者可据此判断欧洲主权 AI 算力供给的另一种路径。
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service,让全球研究机构更便捷地获取大型 GPU 集群,按训练运行时长付费。
推荐理由:原文给出按训练时长付费的 GPU 集群申请入口和 NVIDIA DGX Cloud Lepton 的接入方式,读者可据此判断算力获取路径的变化。
Mistral AI 发布首款推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由:Mistral 首款推理模型同时给出开源小杯和企业版,并公开训练论文与评测数据,可对比其推理路线。
OpenAI 发布 Outbound Coordinated Disclosure Policy,规范其如何负责任地报告第三方软件中的漏洞,强调诚信、协作与大规模主动安全。该政策面向对外披露场景,旨在以协调方式处理第三方软件安全问题。
Hugging Face 发布 ScreenSuite,一个面向 GUI Agent 的评测套件,整合 13 项基准,覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由:Hugging Face 开源 GUI Agent 评测套件,读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
OpenAI 正在就《纽约时报》及原告提出的法院命令进行抗辩,该命令要求无限期保留 ChatGPT 和 API 消费者用户数据。OpenAI 表示正努力在满足法律要求的同时维护用户隐私,并坚持其数据保护承诺。
OpenAI 发布最新报告,通过案例研究披露其检测和阻止 AI 恶意使用的方式。报告聚焦 OpenAI 如何发现并防范这类滥用行为。
Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量与气隙本地 GPU 部署,代码留在企业边界内。
推荐理由:官方给出企业级编码助手的模型组合、部署形态与首批客户,可据此判断私有化编码方案的落地路径。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache,使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自研视觉语言模型的轻量代码库,KV Cache 在 Attention 块、语言模型和生成循环三处启用,将生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型生成。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型、PyTorch 和 TorchAudio 搭建了一款完全在 Arm CPU 上本地运行的声音生成工具,无需 GPU 和云端推理,几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
H Company 发布 Holo1 系列 Action VLM,包含 Holo1-3B 和 Holo1-7B,基于 Qwen2.5-VL 架构并已在 Hugging Face 开源,同时发布含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由:原文给出开源模型规格、基准成绩与单任务成本,读者可据此判断网页自动化方案的落地门槛。
Hugging Face 博客介绍 TRL 新增 vLLM 共置(colocate)模式,训练与推理共享同一批 GPU,不再需要单独的 vLLM 服务器进程。
Hugging Face 发布 SmolVLA,一个 450M 参数的开源视觉-语言-动作(VLA)模型,可在 CPU、单张消费级 GPU 甚至 MacBook 上运行,仅用 lerobot 标签下社区共享数据集预训练。
推荐理由:450M 参数、消费级硬件可跑的开源 VLA,用不到 3 万条社区数据在仿真与真机上追平更大模型,并给出异步推理带来的速度差异。
OpenAI 封禁了一批疑似源自柬埔寨的账号,这些账号利用 AI 支持针对英国用户的任务诈骗流程。
OpenAI 封禁了一批与疑似伊朗关联的 STORM-2035 行动相关的账号,该行动利用 AI 生成针对美国、英国、爱尔兰和委内瑞拉政治的影响力内容。
OpenAI 封禁了一批利用 AI 进行社会工程、监控主题研究和针对批评者的影响力活动的账号。这些账号被用于社交工程与舆论影响操作。
OpenAI 封禁了一批与疑似欺诈性就业活动相关的账号,这些账号利用 AI 生成用于虚假远程职位申请的材料。
OpenAI 封禁了一批利用 AI 生成帖文、批评一名台湾社交媒体网红及相关美国话题的账号。该行动被命名为“Sneer Review”,涉及中国来源的影响力活动。
OpenAI 封禁了一批中国来源账号,这些账号使用 AI 生成美国政治内容,并研究人物、运动和在线社群。该行动被命名为 Operation Uncle Spam,指向美国政治极化影响活动。
OpenAI 封禁了一批利用 AI 在社交平台生成菲律宾政治及公职人员相关评论的账号。
OpenAI 封禁了一批疑似源自俄罗斯的账号,这些账号利用 AI 生成涉及乌克兰、NATO 及德国国内议题的德语政治内容。
OpenAI 封禁了一批与公开归因于中国的威胁行为者相关的账号,这些账号利用 AI 辅助漏洞研究、脚本编写、翻译和行动排障。
OpenAI 封禁了一批俄语账号,这些账号利用 AI 构建恶意软件、改进 loader 并排查网络工具问题。此次行动代号 "ScopeCreep",针对的是俄语恶意软件开发活动。
Wix 的 AI Website Builder 由 OpenAI 提供支持,用户只需通过对话描述想法,即可在几分钟内创建完整网站。
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed,官方称其在真实代码数据检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由:官方给出代码嵌入模型在检索基准上的对比与按维度裁剪的存储成本权衡,可据此评估代码 RAG 的选型。
Hugging Face 分享研究,将 CodeAgent 的思考与代码强制以结构化 JSON 生成,在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
Mistral 发布 Agents API,将自家语言模型与代码执行、图像生成、文档库、Web 搜索等内置连接器以及 MCP 工具结合,并提供跨对话的持久记忆与智能体编排能力。
推荐理由:官方给出 Agents API 的连接器、记忆与多智能体编排能力,可据此判断企业级智能体平台的搭建方式。
用户测试 Liger GRPO loss 与 TRL 集成时,在 DeepSpeed ZeRO3、bf16 精度下使用 Qwen2.5-0.5B-Instruct 训练,触发形状不匹配报错。错误发生在 liger_kernel 的 fused_linear_ppo 前向计算中,经 torch._dynamo 编译后抛出。
OpenAI 将 Operator 的底层模型从 GPT-4o 版本替换为基于 OpenAI o3 的版本,API 版本仍基于 4o。该变动作为 OpenAI o3 与 o4-mini 系统卡增补内容公布。
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub,提供 Meta Llama 4 Maverick、DeepSeek R1。