Liquid AI 发布 LFM3 系列：2B 级多模态模型覆盖文本、视觉、音频、全模态与决策

今天，我们很高兴地宣布推出 LFM3，这是我们新一代的 Liquid Foundation Models（LFM），专为专业化智能而打造。LFM3 模型家族天生具备多模态能力，将文本、视觉、音频、全模态和决策模型统一到一个全新的共享骨干网络上。LFM3 家族的首个版本涵盖 2B 参数级别的模型。

LFM3 基于全新的混合架构和 22T token 的预训练构建，表达能力强于 LFM2，同时保持了其高效性。小巧快速模型中的额外容量使 LFM3 成为同类中面向专业化智能的理想起点：这是因为它可以在本地微调，可以在任何设备上运行，并且能力足以成为特定专业任务的可靠专家。

基础模型和后训练模型均为开放权重，现已在 Hugging Face、我们的 Playground 和 Liquid AI API 上提供。请查看我们的文档，了解如何在本地运行和微调它们。

下载权重在 Liquid API 中试用在 Playground 中试用在 Pipette 中跑基准测试

新架构带来更强表达能力

LFM2 表明，短卷积与注意力的混合架构可以在设备端快速运行，同时不牺牲质量。其设计源自我们的自动化硬件在环架构搜索。对于 LFM3，我们利用这一搜索重新设计了该架构，以面向智能体用例——这类用例需要更高的每参数能力，以及在长上下文上的快速推理。

我们还扩展了硬件在环的范围，从 LFM2 时一部手机和一台笔记本电脑上的 CPU，扩展到 LFM3 的 14 种设备和后端组合：手机（Samsung Galaxy S26 Ultra 和 OnePlus 15）、Raspberry Pi 5、笔记本电脑（Apple M4 Max 和 AMD Ryzen AI）、Arm 和 x86 云 CPU，以及 GPU 和高通 Hexagon NPU。

门控短卷积仍占一半以上的层。为了在不拖慢长上下文的前提下增加能力，我们尝试将其中一些替换为其他序列模块，滑动窗口注意力（SWA）在质量与速度之间取得了最佳权衡。我们仅在能提升质量且不带来明显速度损失的地方保留了下文描述的其他改动。收益在长上下文上得以体现。按参数计算，LFM3-1.7B 在各类边缘设备的短提示上与 LFM2-1.2B 持平，而在上下文为 8K token 时约快 25%。

三混合层组合。 LFM3 结合了三种算子：门控短卷积、滑动窗口注意力（SWA）和全局注意力。在其 24 层中，13 层为卷积，5 层为窗口大小为 256 token 的 SWA，6 层为全局注意力。卷积的核大小也从 LFM2 的 3 提升到 7。

逐头门控注意力。 一个 sigmoid 门控对每个头的输出进行缩放，使某个头在无额外信息可贡献时可以关闭。这有助于抑制损害量化的激活离群值并提升训练稳定性。

部分 RoPE。 全局注意力层仅对每个头中频率最高的那一半进行旋转，低频那一半不旋转，从而使这些维度无论距离远近都能在内容上匹配。SWA 层保留完整的 RoPE。

三明治归一化。 每个模块对其输入和输出都进行归一化，有助于保持激活值的良好缩放。

LFM3 使用与 LFM2.5-8B-A1B 相同的 128K 词表，旨在更高效地对非拉丁文字进行分词。

训练。LFM3-1.7B-Base 在 22T token 上进行了预训练。与 LFM2 相比，其数据混合中增加了更多科学论文、仓库级代码、更广泛的知识来源，以及相当多的数学内容。最后的 3.5T token 是在精选的高质量数据上进行的中期训练阶段，其中包含更大比例的智能体轨迹和多样化的工具调用，为模型的智能体后训练做准备。该阶段还将上下文窗口扩展至 256K token。

满足各种需求的多模态系列

LFM3 的首个版本包含六个模型，全部源自同一 LFM3-1.7B-Base 主干，参数量均在 2B 左右。其中四个覆盖不同的输入模态（文本、视觉、音频和全模态），最后两个是从视觉和全模态模型专门化而来的决策模型。无需运行一个大型通用模型，你可以选择适合自身用例的模型，对其进行定制，并在设备端运行。

如需深入了解这些模型背后的性能和推理结果，请参阅各自的模型卡。

01 / 02

文本

LFM3-1.7B 是一款面向本地智能体和专用应用的文本模型，具有 256K token 的上下文窗口。

它经过后训练，可在 Hermes Agent、Pi 和 OpenClaw 等智能体框架中运行。它可以分拣你的收件箱、管理你的日历、在网上研究主题、通过 WhatsApp 向你发送晨间简报，并使用工具搜索在数千个选项中查找合适的工具。由于 token 是免费的，数十个智能体可以在后台持续运行。你可以在单块 GPU 上进行一次简短的微调，使其适配你的领域、框架和工具。

在智能体任务上，LFM3-1.7B 可与数倍于其规模的模型竞争。它在指令遵循以及 BFCL 和 ToolSandbox 上的函数调用方面领先，并在浏览器和业务应用中的长任务（WebArena-Verified、AutomationBench）上击败 Qwen3.5-9B。更大的模型在智能体编程和知识方面仍然胜出，因为规模在这些方面最为重要，但搜索有助于缩小知识差距，使其在 Humanity's Last Exam 上的得分几乎翻倍。

为取得这些结果，该模型经历了四个阶段的后训练：

• 监督微调（SFT）： 覆盖各类任务共 1.75T token，包括聊天、推理、工具调用和智能体轨迹。
• 混合强化学习： 同时训练多个领域，从数学和代码到 SQL 和结构化输出。奖励中的长度惩罚使回答保持简洁。
• 多领域同策略蒸馏（MOPD）： 六个专家 RL 教师（代码、数学、工具使用、长上下文、智能体工作和企业工作流）被蒸馏回单一模型。
• 智能体 RL： 从网页浏览到办公工作的任务都在真实智能体框架内运行，为模型部署做好准备。

在端侧，我们使用 llama.cpp 在 Q4_0 和 32K token 上下文下测量指标。LFM3-1.7B 在三台设备上都是最快的模型，解码速度比第二名快 1.8 到 2.8 倍，并且内存占用最少。长上下文依然开销低廉：完整的 128K token 上下文需要 1.6 GB 的 KV 缓存，而 Qwen3.5-4B 需要 4.3 GB，MiniCPM5-2B 需要 5.6 GB。

在单块 NVIDIA B300 上使用 SGLang 以 BF16 运行，LFM3-1.7B 在 1,024 个并发请求下每天可生成 36 亿 token，超过本对比中的任何其他模型。

为展示这一吞吐量能实现什么，我们并行运行了超过 300,000 个 LFM3-1.7B 智能体来调查 Enron 电子邮件档案。

LFM3-1.7B 可在随机流量下以低延迟提供服务，在 Liquid RIPL 上运行时支持在线欺诈检测等实时用例。即使在重负载下，P95 请求延迟也保持稳定，优于在 vLLM 上提供服务的竞争模型。

视觉

LFM3-VL-2B 能够观看、推理并理解物理世界：

• 视频理解： LFM 视觉模型首次将视频作为输入。可以就录制的讲座、用手机拍摄的导览视频或摄像头画面片段提问。
• 思考： 模型在回答前逐步推理。这有助于它更好地理解用户输入，并解决更难的视觉问题，如数学、图表和多步问题。
• 空间与具身推理：模型定位物体并推理其空间关系的能力，为下游机器人应用提供了坚实基础。

LFM3-VL-2B 相比 LFM2.5-VL 系列实现了性能飞跃。在 62 项视觉基准测试中，LFM3-VL-2B 的得分显著领先所有同尺寸模型至少 7.4 分，并且尽管体积较小，其性能仍可匹敌体积大 6 倍以上的 Gemma 4 12B，超越 Gemini 3.5 Flash Lite，与 GPT-5.6 Luna 的差距在 2 分以内。更多详情请参阅模型卡。

注：每个类别的分数是其各项基准分数的未加权平均值。平均行为全部 62 项评估的未加权平均值。

所有这些都能在设备端高效运行，让智能在日常使用中无需将数据传出设备，也无需连接云端。在设备端，与其他同尺寸级别的模型相比，LFM3-VL-2B 在所有实测设备上拥有最高的预填充吞吐量和最低的内存占用。

在单块 NVIDIA B300 上使用 SGLang 以 BF16 精度运行时，LFM3-VL-2B 每秒可生成超过 12,000 个 token，高于任何其他同尺寸级别的模型。

LFM3-VL-2B 可在随机流量下以低延迟提供服务，从而支持实时用例，例如在 Liquid RIPL 上运行时进行图像资产标注。即使在重负载下，P95 请求延迟也保持稳定，优于在 vLLM 上提供服务的竞品模型。

视觉编码器

除了对 LFM3 主干网络的改进外，LFM3-VL 还配备了全新的自研视觉编码器，其计算量比之前 LFM VL 模型中的 SigLIP2 编码器少 3 倍。

Liquid 视觉编码器结合了卷积和注意力机制，在同等质量下比其 ViT 对应方案显著更高效。下方的性能-效率图展示了这一点。我们的 164M 参数编码器在 13 项视觉语言模型基准测试中平均准确率达到 55.9%，与 Qwen3.5-2B 的视觉编码器相当，而所需 FLOPs 少 2.2 倍。

对于视频，编码器将每对采样帧联合嵌入到一个时间视觉特征切片中，在进一步编码前将时间序列长度减半。这些设计共同使该编码器成为更丰富的图像理解和高效视频处理的基础。

音频

LFM3-Audio-2B 是一个紧凑、功能完备的音频模型，可在笔记本电脑和边缘设备上本地运行。它以文本或音频作为输入，并以文本、语音或两者兼有的形式回应。

LFM3-Audio-2B 采用全新架构，配备自研的音频编码器和编解码器。它在语音质量上优于 LFM2.5-Audio，现已支持 18 种语言。新能力包括音频理解、通用音频推理和工具调用。

• 语音聊天：大声提问，即可收到文本和语音形式的流式回复。对于纯文本回复，模型还可以在回答前进行推理。
• 多语言语音：在 18 种语言之间进行语音转写、合成和翻译。
• 音频理解与推理：让模型解读录音，并回答关于其中语音、声音和事件的问题。
• 工具调用：将语音请求转化为工具调用，以控制应用和设备。模型还可以在调用工具的同时以文本或语音回应。

ASR（WER，%，越低越好）

英语 TTS（UTMOSv2，1-5，越高越好）（WER，%，越低越好）

VoiceBench、工具调用、音频理解（音频输入、文本输出，%，越高越好）

我们全新的基于 LFM 的音频编码器由滑动窗口注意力和短卷积层的混合结构构建，使内存占用保持有界。新编码器完全因果，允许模型处理实时麦克风输入，并在你说话时执行预填充。这缩短了你说完后的等待时间，首个 token 的延迟可低至 50 ms。

LiquidCodec 是我们全新的音频分词器，为 LFM3-Audio 和 LFM3-Omni 的多语言语音生成提供支持。LiquidCodec 基于 LFM3 架构构建，在单 CPU 线程（Apple M4 Max）上以约 87 倍实时速度将生成的 token 转换为语音，并支持流式解码。 

量化将每 80 ms 的语音压缩为 12 个离散 token，并且与之前的 LFM Audio 模型不同，它允许并行迭代预测多个 token，而无需顺序预测。随着主干网络生成新的 token，去分词器会逐步将其转换为语音，整个过程都快于实时，从而使对话流畅且响应迅速。

Omni

LFM3-Omni-2B 是我们的首个全模态模型，将视觉、音频和语言融合到单一模型中，能够看、听并回话：

• 语音视觉问答：使用语音对图像或真实场景提问，并以文本、语音或两者兼有的形式获得回答。
• 音视频理解：处理视频帧及其对应音频，使模型能够推理屏幕上正在发生的事情以及正在说或听到的内容。
• 多模态工具调用：将视觉上下文与语音指令相结合，生成结构化的工具调用，使助手能够利用所见内容和用户所说内容与应用程序及界面进行交互。

LFM3-Omni 支持需要同时理解视觉和听觉信息的跨模态交互。用户可以针对图像提出语音问题，或提供带有同步音频的视频，并提出同时依赖所见和所听内容的问题。

除了跨模态理解之外，LFM3-Omni 还保留了独立 LFM3 模型的核心能力，包括视觉问答、语音识别、语音合成和语言指令遵循。

LFM3-Omni-2B 专为在资源受限环境中高效部署而设计。其能力使对话助手能够提供上下文感知的指导、支持免手操作交互，并帮助用户通过自然语音命令完成任务。通过结合视觉理解、语音对话和工具调用，它可以支持从个性化教育和日常辅助到数字界面导航和机器人系统等各类应用。

它仅有 2.2B 参数，却能将这类多模态助手带到设备端。例如：一位辅导老师能看着你的手写数学题并回答你的语音提问；一台你可以拿着四处走动、并就其所见提问的平板电脑；以及将摄像头所见与驾驶员所说内容结合起来的车载助手。

决策

本次发布还带来两个新的决策模型：基于 LFM3-VL-2B 构建的 d1-2B 可读取文本和图片，而基于 LFM3-Omni-2B 构建的 d1-Omni-2B 还能聆听。它们不撰写答案，而是在毫秒内做出决策。给它们一个情境（一张支持工单、一张发票、一个应用界面、一张照片、一条语音留言）和一组问题，它们便能在一次前向传播中回答所有问题，每个答案都带有校准后的概率。

除了新的 LFM3 主干之外，自 d1-3B 以来的重大变化是类型化答案。在是/否、选项和分数之外，两个模型现在还能：

• 定位：在你描述的内容周围画一个框，或找出某个事物的每一个实例并给出计数。
• 读取：从文档中提取文本、数字和日期，并给出它们所在的精确片段，当字段不存在时说明“未找到”。
• 估计：给出一个数字及其可能范围。
• 选择：选出所有适用选项，每个选项都带有各自的概率。

想提多少问题都可以：它们会在对同一输入的一次处理中被读取。

更小更强。d1-2B 取代了我们之前的 d1-3B，参数减少了三分之一：

能说出来的决策。d1-Omni-2B 通过音频接收同样的问题，因此语音请求可以像文字请求一样被路由、核查或回答。以语音而非文字提问时，它几乎保持了全部准确率：

它还能识别日常声音（ESC-50 上达 84.5%），并判断 43 种语言中正在说的是哪一种（FLEURS 上达 92.5%）。

文本和图像选择 d1-2B，当输入包含音频时选择 d1-Omni-2B。两者均在设备端运行，可将源源不断的工单、文档、通话或摄像头画面转化为结构化决策，无需往返云端。

在以下演示中，d1-2B 运行在一台 MacBook 上。你用自然语言描述要查找的内容，它便使用新的 Point 答案类型，在一次前向传播中为每个匹配项画出边界框。

为专业化智能而打造

LFM3 生来就是为了专业化。2B 级模型足够小，可以在你自己的数据上微调，并运行在你的应用所在之处。以下两个示例用 LFM3-VL-2B 展示了这一点。第一个是简短的微调，将它变成一个针对单一狭窄工业任务的检测模型。第二个是一项研究性扩展，将它变成一个机器人控制器。

领域专长：为你的领域定制 LFM3

前沿模型是强大的通才，但未必是你特定用例的专家。在此演示中，我们微调了 LFM3-VL-2B，用于在风力涡轮机叶片的无人机照片中查找并分类缺陷。训练使用了约 3,000 张公开照片（WTBs2025），在一张 A100 上通过 SFT 和 GRPO 训练了几个小时。随后我们在约 1,400 张留出照片上将其与基础模型和 GPT-6 Luna 进行了比较。

开箱即用时，LFM3-VL-2B 和 GPT-6 Luna 在不到 10% 的图像中正确识别出这些缺陷类型。简短的微调将 LFM3-VL-2B 的分类准确率提升至 67%，并将检测 F1 从 0.003 提升至 0.11，而 GPT-6 Luna 为 0.01。雷击图像说明了这一差异：GPT-6 Luna 常常能正确定位缺陷，但标签错误，而微调后的模型能正确识别出雷击。除分类和检测外，该模型还能回答关于同一图像的自然语言问题。例如，它可以定位可见损伤，或撰写简短的检测发现，包括缺陷类型、支持证据和位置。

风力涡轮机微调示例使用我们的微调 notebook 开始定制 LFM3

机器人技术：教 LFM3 行动

我们研究了 LFM3-VL-2B 如何作为机器人应用的基础。我们考虑了三个互补方向：(1) 高层工具编排，(2) 视觉语言导航，(3) 低层操作。

编排。基于 LLM 的机器人规划与控制（SayCan、Code as Policies）以及近期的物理编排器（VoLo、Gemini Robotics ER 2），我们微调了 LFM3-VL-2B，使其通过工具操作机械臂。给定请求和当前相机图像，它逐步推理，通过指向定位物体，用深度工具测量它们，并通过运动规划器进行操作。然后它在下一张图像中检查每个结果并反馈，包括请求超出范围或存在歧义的情况。任务包括关系选择、按测量属性排序和环境扰动，全部在 Isaac Sim 中模拟。无需架构更改。在约 40,000 个样本上训练了一个 rank-32 LoRA 适配器，结合了操作轨迹与通用工具使用和指向数据，在单块 AMD Instinct MI325X 上耗时约六个 GPU 小时。搭配微调的 d1-2B 技能监控器，我们可以进一步将滑移、卡住和拖拽等干扰下的恢复成功率提高一倍。

导航。对于视觉-语言导航，LFM3-VL-2B 读取路线描述和短 RGB 帧历史，以预测导航目标和残差量化轨迹基元，灵感来自 LightNav-0 的动作接口。每个决策由五个 token 组成：两个空间/控制 token 和三个分层量化代码，编码一条速度控制器可跟踪的十个路点路径。我们仅重新利用 2,068 个词汇 token；架构其他部分不变。我们在 MI325X GPU 上训练了 280 万个样本，耗时 72 GPU 小时。在未见过的验证场景中，所得模型在禁用贴墙滑动且要求显式停止的严格连续控制评估协议下，在 R2R 上达到 53% 的成功率，在 RxR 上达到 43%。我们进一步观察到在不同相机角度和指令语言下的鲁棒性。在 Jetson AGX Orin 上，我们的导航模型使用 TensorRT FP16 且无视觉提示缓存，以超过 2.5 Hz 的频率更新路点轨迹。

操作。为了将 LFM3-VL-2B 转变为视觉-语言-动作（VLA）模型，我们采用受 OpenVLA-OFT 和 StarVLA-α 启发的并行动作预测：一个小型残差 MLP 在单次前向传递中将八个动作查询 token 的隐藏状态映射为八步连续机器人动作块。本体感觉以离散化文本和特定具身的学习投影两种方式提供，整个网络端到端微调。我们在 MI325X GPU 上训练了一个通用检查点，耗时 170 GPU 小时，使用来自 15 种具身的模拟和真实机器人数据，范围从单臂和移动操作器到双臂平台和人形机器人。所得 VLA 在四个 LIBERO 套件上平均成功率达到 96.2%，在 RoboCasa-GR1 桌面任务上达到 45.7%。在 Jetson AGX Orin 上，它可以使用 TensorRT 在 FP16 精度下在 50 毫秒内生成动作块。

开始使用

立即使用 LFM3 开始构建，可在 Hugging Face 和 Liquid AI API 上获取。

借助 LFM3，我们正在实现 AI 随处运行的愿景。这些模型是：

• 开放权重：下载、微调和部署。
• 从第一天起就快速：原生支持 llama.cpp、MLX 和 vLLM，覆盖 Apple、AMD、NVIDIA 和 Qualcomm 硬件。在 Liquid 实时推理管道 上部署，适用于低延迟、高吞吐量的工作负载。
• 完整的模型家族：从可定制的基础模型到专用的文本、视觉、音频、全模态和决策模型，一种架构覆盖多种用例。

我们迫不及待想看到你构建的作品。

在 Hugging Face 下载通过 Liquid API 使用在 Playground 试用

发布合作伙伴

我们感谢首发日合作伙伴的支持。LFM3 今天即可在以下平台使用：Ambarella、AMD、Arm、通过 OpenVINO 的 Intel、NVIDIA、OpenRouter、通过 Qualcomm AI Hub 和 GenieX 的 Qualcomm，以及 Vercel。 感谢 Mercedes-Benz 和 Shopify 在预发布测试与评估方面的合作。

感谢我们的构建者生态系统的支持：Atomic、Cactus、Hugging Face、llama.cpp、LM Studio、MLX、Ollama、基于 SGLang 的 RadixArk、.txt、Unsloth、vLLM 和 ZML。

引用

如需引用，请使用以下参考文献或 BibTeX：