Liquid AI 发布 LFM2-24B-A2B 与本地智能体 LocalCowork

构建本地 AI 智能体听起来很棒，直到你尝试整天使用它。困难的部分不是让模型理解你，而是让它选择正确的工具，并且足够快地完成，让体验感觉是交互式的。在受监管的行业中，门槛更高：智能体也不能为此将你的数据发送到任何地方。这正是 LFM2-24B-A2B 的亮点所在：它专为本地消费级硬件上的工具调度而设计，在这里，延迟、内存和隐私不是抽象的约束；它们决定你的智能体是产品还是演示。

我们构建了一个名为 LocalCowork 的开源桌面智能体来对此进行测试。它完全在设备上运行：模型、工具和你的所有数据都留在你的笔记本电脑上。没有云，没有 API 密钥，没有任何东西离开这台机器。你可以在我们的 Cookbook 中找到这个应用的源代码。

以下是我们发现的结果。

用例：一个对你的文件采取行动的设备端智能体

笔记本电脑智能体的工作很简单：接收一个意图并将其转化为一个动作。这意味着要从真实的工具界面中进行选择，例如：

• 安全扫描 - 查找埋藏在你文件夹中的泄露 API 密钥和个人数据
• 审计追踪 - 记录每次工具调用，生成合规报告
• 文档处理 - 提取文本、比较合同差异、生成 PDF
• 文件操作 -  在你的文件系统中列出、读取、搜索
• 系统与剪贴板 - 获取系统信息、读/写剪贴板、检查磁盘使用情况

在实践中，这比看起来更难，因为工具菜单庞大而拥挤。我们正是在这样的环境中评估了 LFM2-24B-A2B：跨 13 个 MCP 服务器的 67 个工具，涵盖上述类别。

设置：本地、真实且可扩展

一切都在一台笔记本电脑上运行：

• Apple M4 Max，36 GB 统一内存，32 个 GPU 核心
• 工作负载：100 个单步工具选择提示 + 50 个多步链（3–6 步）
• 服务：llama-server，Q4_K_M GGUF，启用 flash attention
• 推理：temperature 0.1，top_p 0.1，max_tokens 512

目标不是看模型在玩具环境中能表现得多好。而是衡量它能否在一台你可以购买并携带的机器上驱动真实的工具使用用户体验。

该演示展示了完全在笔记本电脑上运行的三个工作流——无需互联网：

1. 即时安全扫描与透明审计追踪：开发者可以命令 LocalCowork 扫描文件夹以查找泄露的机密。模型立即使用安全扫描器识别凭据（例如 AWS、Stripe API 密钥）并记录所有操作。随后请求“审计追踪”会触发对另一个服务器的调用，该服务器迅速提供扫描的完整日志，包括发现了什么以及何时发现。这展示了跨两个不同 Model Context Protocol (MCP) 服务器的两次工具调用的成功、亚秒级链式调用。
2. 具有完整工具调用透明度的系统信息：当用户点击“告诉我关于我的系统”时，模型立即将请求分派给系统信息工具。随附的演示可以展开工具调用追踪，提供对过程的完全可见性：调用了哪个工具、传递了哪些参数以及产生的输出。这强调了对非黑盒操作的承诺。
3. 跨服务器剪贴板访问：在不同服务器上的新会话中，模型在收到请求后不到一秒内检索到剪贴板内容。核心演示不是剪贴板功能本身，而是模型能够在 21 个工具和 6 个服务器之间准确、快速地路由请求，同时完全在本地运行。

体验如何：亚秒级工具选择

在此笔记本电脑配置上，LFM2-24B-A2B 在此设置中平均每次工具选择响应耗时 ~385 毫秒，同时占用约 14.5 GB 内存。这意味着推理期间没有数据离开设备，没有出站 API 调用，没有供应商子处理者，没有需要审计的出口事件。

它在 100 个提示的单步工具选择上达到了 80% 的准确率。它支持一种简单、高杠杆的交互模式：

1. 用户提问
2. 智能体立即提议调用工具
3. 用户确认（或纠正）
4. 工具运行
5. 重复

当循环很快时，即使准确率不完美也变得极其可用，因为纠正的成本很低。

真实工作流：收据 → 结构化数据 → 报告

以下是基准测试套件中一个具有代表性的真实世界链条：

1. 在收据文件夹中搜索图片
2. 对第一张收据进行 OCR
3. 解析供应商/日期/项目/总额
4. 检查重复项
5. 将核对后的数据导出为 CSV
6. 标记异常
7. 生成 PDF 对账报告

这正是使用工具的智能体在现实生活中会失败的那类工作流：不是因为任何单个步骤有多奇特，而是因为智能体必须从庞大的工具集中反复选择正确的操作，同时跨步骤携带状态。LFM2 的优势在于它让每一步都感觉即时。

LFM2 最强之处：结构化领域

在意图明确且工具模式清晰的类别中，单步性能最强：

我们学到了什么

最大的错误是可预测的，可以通过标准的后训练来解决。

1. 服务器内的同类混淆。大多数错误工具选择都是近邻错误：选择了同一家族中的相关工具（例如，在需要删除时选择了列出）。
2. 偶尔出现“无工具调用”。较小一部分失败源于模型以对话方式回复，而不是发出工具调用。
3. 多步自主性比单步调度更难。LFM2 在此套件中端到端完成了 26% 的多步链条。实际结论：LFM2 最适合作为引导循环中的快速调度器，而不是长链条的放手自动驾驶。但同样，这些可以通过有针对性的后训练显著改善。

LFM2-24B-A2B 迄今已在 17T token 上训练，预训练仍在进行中。预训练完成后，预计将推出经过额外后训练和强化学习的 LFM2.5-24B-A2B。

要点

这个演示不是概念验证。它是一个可用的桌面应用，扫描真实文件，串联真实工具，具备完整的审计日志，全部在消费级硬件上运行。模型占用 14.5 GB，在 400 毫秒内调度工具，并处理对隐私敏感工作最重要的结构化领域。

如果你正在为消费级设备构建本地智能体，LFM2-24B-A2B 为你提供了一个快速、内存高效的基础。只需针对你的工具 schema 进行标准微调，它就能成为在用户笔记本电脑上直接处理智能体任务的可靠且响应迅速的解决方案。

LocalCowork 是开源的，可在我们的Cookbook中获取。 

亲自尝试一下，体验私密且低延迟 AI 的强大能力。