跳到正文
Sarvam AI·· 2 天前精选AI 评分59

Sarvam AI 如何为企业 Agent 构建知识织体

How we built the knowledge fabric for enterprise agents

AI 导读

Sarvam AI 介绍了为企业 Agent 构建的知识织体,把组织文档一次性编译成可导航的知识树和可查询的领域本体两层结构。在 Harvey LAB 基准上,使用 GLM 5.3 的答案满足 84.2% 的专家评分标准,高于 agentic RAG 的 55.1%,单任务成本从 0.64 美元降至 0.28 美元。

推荐理由

Sarvam 公开了知识树与领域本体两层结构的设计和多个基准对比数据,可看结构化知识层如何改变企业 Agent 的成本与准确率。

正文 · AI 翻译
  1. 首页
  2. /
  3. 博客

我们如何为企业智能体构建知识网络

研究


2026年10月21日·10 分钟阅读

How we built the knowledge fabric for enterprise agents

让杂乱、碎片化的数据可供智能体查询

企业 AI 系统通常能够获取回答查询所需的信息,但这些信息分散在各类文档和系统中,缺乏一致的结构来连接事实并使其易于查询。以银行一位经验丰富的客户经理为例,他之所以能迅速推荐合适的贷款或信用卡,是因为他脑中已有一套关于产品、资格规则和例外情况如何相互关联的模型。而一个智能体即便拿到了所有相关产品文档,仍必须从每个问题检索到的少量段落中推断出这些关联,而且每来一个新查询,大部分工作都要重新开始。

因此,当我们在 Sarvam 着手解决这个问题时,我们开始构建一个知识网络,它能够读取组织以各种形式提供的文档和数据,梳理信息如何跨来源关联,并将其转化为智能体可以导航、查询和引用的结构化层。由于这项工作只需完成一次并可在不同问题间复用,智能体因此变得更准确,大规模运行成本也更低。

过去几个月里,我们与客户一起完善了这一网络,并在多个公开基准上进行了测试。在 Harvey 的 LAB 基准上,以 GLM 5.3 作为智能体模型,答案满足了 84.2% 的专家评分标准,相比智能体式 RAG 的 55.1% 有所提升,同时平均任务成本从 0.28 下降,超过了 Harvey 自家测试框架报告的 GPT-5.6 Sol 的 79.1% 和 Opus 4.8 的 71.7%。在 Sierra 的 tau-knowledge 银行基准上,该网络在准确率与基线持平的情况下减少了 64% 的 token 消耗,两套设置均使用 GLM 5.2 运行。

在本文中,我们将深入探讨知识网络背后的架构、我们为何如此设计,以及我们在构建和实践测试中获得的经验。

为什么 RAG 在企业中一直行不通

如今大多数企业 AI 系统都建立在传统的检索增强生成(RAG)之上,即把文档切分成小块并建立索引以供搜索。当问题到来时,系统检索出最相关的片段并将其作为上下文传给模型。更好的嵌入、分块策略和重排序器可以提升检索质量,但传统 RAG 之所以失败,是因为它把文档当作扁平、孤立的文本片段,而非理解连接它们的底层结构。这带来了两个根本性问题:

  1. 上下文丢失:单个文档片段往往缺少关键的父级信息,例如它们所属的确切产品、部门或法律条件。由于标准 RAG 不映射底层结构,这些孤立片段看起来自身清晰,导致智能体做出错误假设并自信地给出错误答案。
  2. 完整性:如果你向智能体提出一个宽泛的问题,比如列出满足特定规则的每一个选项,向量搜索只会返回最靠前的几个结果。没有整个数据集的结构化映射,智能体不得不在多个文件间一次又一次地搜索,永远不知道是否找全了答案,也不知道何时可以安全停止。

我们的方法

我们希望智能体更像客户关系经理那样工作,每个问题开始时上下文已经就位,因此我们决定设计知识织构,让文档只被摄取一次,并将其学习成果保留在两个层次中。

第一层是知识树,它组织任何语料库,使智能体能够在其间导航,而无需领域模型。第二层是领域本体,它对领域中的实体及其相互关系进行建模。在我们的金融产品示例中,知识树可以让智能体找到并阅读每个产品的条款和条件,而本体则可以让它在一次查询中按外汇加价、休息室使用权和年费等特征筛选每张卡。

用知识树改进搜索

任何用过编码智能体的人都见过,它借助文件系统原语访问目录、读取文件、运行搜索和检索并加深对代码的理解,从而在大型代码库中高效工作。我们通过知识树将这些原语引入组织的数据中。

构建知识树始于解析:我们使用Sarvam Vision 2.1将每个文件转换为 markdown,以处理扫描页面、复杂布局、表格和印度语系文字。每个长文档随后变成一个文件夹,旁边附有一个简短索引。对于一份 200 页的年度报告,索引只有一页,列出标题、摘要以及每个章节及其页码范围,使智能体可以先读索引,挑选所需章节,只打开那些页面。

我们通过 MCP 提供这棵树,因此任何智能体都可以列出文件夹、读取索引、搜索语料库、打开页码范围并检查表格。每条引用都指回源页面上的段落、图像或表格行。

为了衡量知识树带来的价值,我们在四个公开基准上将知识树与扁平混合检索进行比较,两种情况均使用 GLM 5.2 处理相同的解析文档。一个智能体只能搜索段落,另一个还可以读取索引、在文档层级中移动并打开表格。

基准混合检索知识树导航
BrowseComp-Plus,830 个深度研究问题75.5%91.3%
BRIGHT-Pro,739 个重推理问题84.3%90.4%
FinanceBench,150 个关于公司文件的问题82.1%88.7%
OfficeQA Pro,133 个关于财政部公报的问题33.8%51.6%

Scroll

Scroll

当答案需要来自多个文档或表格的证据时,提升最大,这表明知识树帮助智能体获取了这些材料。然而,它并未解决完整性问题。智能体仍然需要弄清楚哪些文档描述的是同一件事,以及是否找到了所有相关记录,这正是第二层要解决的问题。

智能体可以像查询数据库一样查询的领域本体

有些问题更接近数据库查询而非搜索:要找出所有零外汇加价且可享用休息室的卡,需要在银行的卡中进行筛选,只有当每张卡的特征已经以可查询的形式记录时,智能体才能可靠地做到这一点。第二层,即领域本体,提供了这种结构。它定义了领域包含的事物种类、每种事物具有的属性以及它们之间的关系,并用这些术语记录每份文档的内容。

我们使用了 Harvey 的 LAB 事务所知识基准测试,该测试将智能体置于一个模拟律师事务所中,包含 9,288 个文件,覆盖 46 个客户的 266 个事项,并向其提出 250 个合伙人可能会提出的请求,以测试知识网络。

其中一个请求是:“拉出我们所有以 firm-commitment 方式完成的资本市场发行项目,以及已签署的承销协议。”

要回答这个问题,需要找到每一个资本市场发行项目,检查每个项目的承销方式,并确定哪些文件是在承销协议下签署的。这些事实分散在交易文件、协议和事项中,因此搜索可以找到示例,但无法保证得到完整列表。

对于 LAB,我们定义了五种实体类型:客户、事项、交易、文件和协议,其中交易带有诸如其类型、状态、价值和记录在文件中的承销基础等属性,并且关系连接不同实体。

本体就位后,智能体分三步回答了资本市场请求:

  1. 列出了全部 22 个资本市场发行项目。
  2. 筛选出 firm-commitment 发行项目,并将其与已签署的协议关联,剩下 14 个符合条件的项目。
  3. 打开支持性段落并为每个结果引用出处。

Harvey LAB 上的结果

我们在三种配置下运行了该基准测试:基于扁平分块索引的 agentic RAG、知识树,以及仍可使用知识树的本体。

Agentic RAG知识树本体
满足的评分标准项55.1%74.4%84.2%
完全解决的任务7292109
未回答的任务970
每任务工具调用次数36.559.214.2
每任务 token 数1.80M3.79M0.86M
每任务时间30.0 分钟30.8 分钟8.6 分钟
每任务成本$0.64$1.18$0.28

Scroll

Scroll

知识树相比 agentic RAG 提高了标准通过率,但这种探索成本高昂,并且使用了超过两倍的 token。本体进一步提高了标准通过率,同时将 token 使用量降至 RAG 基线以下,因为筛选和关联在数据库中进行,而不是通过反复阅读和推理完成。基于本体的设置还为每个任务返回了答案,并且所需的工具调用次数不到仅使用知识树时的四分之一,而且在更大的任务上性能差距进一步扩大。

tau-knowledge 上的结果

我们在 Sierra 的 tau-knowledge 基准测试 上测试了知识网络,该测试将智能体置于一家模拟银行的支持台,包含 698 份文件,覆盖产品条款、费用、资格规则和内部流程。每个任务平均需要来自 18.6 份文件的信息,并且 97 个任务采用全有或全无评分,因此漏掉一项费用或资格条件就会导致整个任务失败。

在整个基准测试中,我们将知识网络集成到 Sierra 的测试框架中,并与 Sierra 的默认检索设置进行比较,后者为智能体提供 BM25、嵌入搜索和一个 shell。我们在自己的环境中使用 GLM 5.2 作为智能体模型运行了二者。使用知识网络的智能体完成了 39 个任务,而基线为 38 个,同时使用的 token 减少了 64%。

现实世界中的知识网络

知识树已在 Sarvam cowork 中投入生产使用,任何人都可以在其中创建知识库、上传文件并将其附加到自己的智能体上,知识树会在后台自动构建,无需任何设置。本体取决于具体领域,因此我们与企业客户合作,一次构建一个领域。

  • 每次部署都从发现人们需要哪些任务帮助开始,并收集这些任务背后的文档和系统
  • 随后由智能体起草领域模型,再由客户的领域专家审阅并修正
  • 文档被编译进知识织体,而实时数据库仍留在其源系统中,并继续执行访问控制

本体通常存放在关系数据库中,但当某个领域的问题不断跨越大量关系时,我们会将其迁移到图数据库,因为图数据库能更好地处理这类查询。我们可以将知识织体部署在客户自己的环境中,包括使用较小模型的小型气隙隔离环境。随着新文档类型的出现,我们会增量更新本体,并在每次更新上线前重新运行评估。

最终思考

这项工作最大的收获是:智能体的结果在很大程度上取决于它所依托的底层基础。知识织体为智能体提供了一个更智能的底层基础,其中的结构已经就位,就像我们最初的那位客户关系经理已经了解银行产品之间如何相互关联一样。提前一次性构建好这个底层基础,能让智能体更准确、运行成本更低。

我们对由此带来的可能性感到兴奋:智能体在开始每项任务时就已经理解一个组织的知识如何相互关联,并持续努力使编译更准确、更高效。我们正在通过改进构建知识织体的框架,并在每个步骤测试不同的模型,来持续提升编译的准确性和效率。

下一步是记忆。随着更多智能体共享知识织体,它应该变得更有用,一个智能体学到的东西——无论是修正、决策还是用户偏好——都应该可供其他智能体使用。我们正在为智能体设计一种持久、共享的记忆,构建在类似的基元之上。我们将在过程中分享更多所学到的内容。

参考文献

  • Harvey,LAB: Law Firm Knowledge。支撑我们本体结果的律所知识任务:一个模拟律所,包含 9,288 个文件和 250 个合伙人式请求,依据专家编写的评分标准进行评分。语料库、任务和评分器均在 GitHub 上。
  • Sierra,tau-knowledge。一个基于模拟银行产品条款、费用和流程的客户支持基准,其中每项任务采用全有或全无的评分方式。
  • BrowseComp-Plus。基于约 100,000 份文档的固定语料库的深度研究问题,因此可以在相同数据上比较不同的检索设置。
  • BRIGHT-Pro。检索类问题,找到正确文档需要超越关键词或语义重叠的推理能力。
  • FinanceBench。基于上市公司申报文件的问题,答案经过验证。
  • OfficeQA Pro。基于美国财政部公报的问题,其中许多问题依赖于表格中的数值。
  • Zhang、Khattab 和 Kraska,递归语言模型。一种在代码环境中对长上下文进行递归自调用的模型,因此其可读取的内容远超单个提示所能容纳的范围。
  • Moonshot AI,Kimi K2.5。一种经过训练、可将任务拆分给最多 100 个并行子代理的模型,在 BrowseComp 上表现优异。

来源:Sarvam AI · sarvam.ai