微信扫码
与创始人交个朋友
我要投稿
点击“蓝字” 关注我们
在人工智能领域蓬勃发展的当下,生成式人工智能技术不断取得新的突破,其中基于大语言模型(LLM)的检索技术更是成为众多应用场景的核心。检索增强生成(RAG)和 GraphRAG 作为该领域的重要探索成果(2024 年 RAG 的崛起和演变:一年回顾综述(1.25万字+46参考文献+18张图)),曾为连接外部文档与大语言模型进行问答任务提供了有力支持,但它们也存在着不可忽视的局限性。在此背景下,知识增强生成(KAG)应运而生,它不仅有效克服了前两者的不足,更在诸多方面实现了显著提升,为基于 LLM 的检索技术带来了崭新的发展方向。
RAG (面向企业RAG(Retrieval Augmented Generation)系统的多维检索框架)自诞生起便在生成式人工智能应用中占据重要地位,其核心功能是将各类外部文档,包括 PDF 文件、视频资料等,与大语言模型进行连接,以满足问答场景的需求。在实际应用中,RAG 能够检索外部文档中的相关内容,并将这些信息输入到 LLM 中,帮助模型生成更具针对性和准确性的回答。这一技术的出现,在很大程度上弥补了 LLM 自身知识储备的不足,使其能够借助外部数据回答特定领域或基于最新信息的问题。
然而,RAG 也存在明显的缺陷。它主要依赖简单的基于相似度的搜索方法,这使得它在处理复杂问题时,容易生成模糊不清的答案。当用户的问题涉及多个知识点的关联或需要深入推理时,RAG 可能无法准确把握问题的核心,导致给出的回答无法满足用户需求。
为了改进 RAG 的检索性能,GraphRAG 被引入(GraphRAG原理深入剖析-知识图谱构建)。GraphRAG 运用图分析和知识图谱创建技术,对 RAG 的检索能力进行了提升。通过构建知识图谱,GraphRAG 能够更好地理解数据之间的关系,从而在检索过程中更精准地定位相关信息。与 RAG 相比,GraphRAG 在一些场景下确实提高了检索的准确性和效率。
但 GraphRAG 同样存在短板。在推理过程中,由于信息提取可能存在误差,它可能会引入噪声,影响最终回答的质量。对于复杂的查询,GraphRAG 在将检索到的事实进行组合和推理时,往往力不从心,难以给出全面、准确的答案。这意味着在面对专业领域的复杂问题时,GraphRAG 的表现仍不尽人意。
鉴于 RAG 和 GraphRAG 存在的上述局限性,研发一种更为先进、能够有效解决这些问题的技术成为当务之急。KAG 正是在这样的背景下应运而生,它的目标是克服 RAG 和 GraphRAG 的缺点,为基于 LLM 的检索提供更强大、更可靠的解决方案。
KAG 即知识增强图(Knowledge - augmented Graph),它将大语言模型与结构化的知识图谱深度整合,旨在实现专业领域中的逻辑推理和问答功能。KAG 构建于 OpenSPG 引擎之上,这一引擎是创建和管理知识图谱的框架,就如同一张庞大且详尽的信息地图,能够将原始数据转化为有用的知识,支持知识图谱的持续更新和完善,并将大数据与人工智能系统相连接,以解决复杂的实际问题。OpenSPG 的灵活性使其可以根据不同行业和需求进行定制化调整,为 KAG 的强大功能提供了坚实基础。
KAG 支持先进的推理能力,尤其是多步(多跳)推理。这意味着它能够从多个相关信息片段中进行连接和推断,从而得出答案。在处理问题时,KAG 不再局限于简单的信息匹配,而是能够深入挖掘信息之间的内在逻辑关系,通过多步推理,为用户提供更具深度和准确性的回答。例如,在法律领域,当面对一个涉及多个法律条款和复杂事实情况的案例分析问题时,KAG 可以通过多步推理,将相关的法律条文、以往类似案例以及当前案件的具体情况相结合,给出全面且合理的法律建议。
KAG 通过针对性地解决传统 RAG 和 GraphRAG 的局限性,大大降低了错误率,提供更清晰、精确的答案。传统 RAG 因简单的相似度搜索易产生模糊答案,GraphRAG 则可能因信息提取错误在推理过程中引入噪声。KAG 在检索和推理过程中采用了更先进的算法和技术,能够对输入的信息进行更严格的筛选和验证,从而有效避免这些问题,确保回答的准确性。在金融领域的风险评估场景中,KAG 能够准确分析市场数据、行业动态以及企业财务状况等多方面信息,给出可靠的风险评估结果,相比 RAG 和 GraphRAG 具有更高的可信度。
KAG 利用知识图谱(Graphusion:基于零样本LLM的知识图谱构建框架)来表示概念之间的关系,融合了逻辑(规则、关系)和事实(数据点)信息。这种整合方式使其能够高效地回答复杂的、具有上下文关联的问题。在历史研究领域,当研究者询问某个历史事件的背景、发展过程以及对后续历史进程的影响时,KAG 可以借助知识图谱中对各个历史事件、人物、时间等要素之间关系的描述,将相关信息进行整合和梳理,给出一个完整且条理清晰的答案,充分展示了知识图谱整合带来的优势。
KAG 具备高度的可定制性,可以纳入特定领域的模式和规则,使其能够适应不同专业需求,无论是回答事实性问题还是推理复杂场景。在制造业中,不同企业可能有各自独特的生产流程、质量控制标准和供应链管理规则。KAG 可以根据企业的具体情况,定制相应的知识图谱和推理规则,为企业内部的生产决策、故障排查等提供个性化的支持,帮助企业提高运营效率和管理水平。
KAG 能够将混合数据,包括非结构化文本(如新闻、日志)、结构化数据(如交易记录、统计数据)以及专家规则,组织成一个统一的知识图谱。它运用提取、规范化和语义对齐等技术,对这些信息进行连接和索引,使其既适用于无模式约束的数据,也能兼容有模式约束的数据。这种统一的知识图谱支持高效搜索、逻辑推理以及图谱与原始数据之间的交叉引用,使 KAG 能够有效地处理复杂查询,并提供特定领域的深刻见解。
例如,在一家电商企业中,KAG 可以将用户的浏览记录(非结构化数据)、购买订单信息(结构化数据)以及市场营销专家制定的促销规则(专家规则)整合到知识图谱中。当企业需要分析用户购买行为模式以制定精准营销策略时,KAG 可以通过对知识图谱的分析,挖掘出用户偏好、消费习惯等有价值的信息,为企业决策提供有力支持。
KAG 的工作流程可以分为学习(索引)和回答(查询)两个主要步骤:
尽管 KAG 和 GraphRAG 都使用知识图谱,但两者存在显著差异:
GraphRAG 在检索事实方面表现尚可,但在将这些事实组合起来回答复杂查询时存在困难。KAG 则运用多跳推理,能够将不同信息进行连接和综合,为用户提供精确的答案。
对于简单查询,GraphRAG 能够发挥一定作用,但在面对复杂问题时,可能无法把握问题的全貌。KAG 则擅长处理复杂的、特定领域的查询,通过将问题分解并综合分析,给出准确且全面的回答。
GraphRAG 虽然相较于传统 RAG 有所进步(GraphRAG原理深入剖析--图谱检索),但在处理复杂查询时仍容易出现错误。KAG 通过结合检索、推理和图谱对齐等技术,实现了专业级别的准确性,大大降低了错误率。
以农业领域关于气候变化对作物产量影响的问题为例,GraphRAG 可能只能给出一些零散的信息,而 KAG 能够通过连接气候变化数据、农业生产规律以及地区特点等多方面信息,提供一个详细、连贯的答案,充分展示了其在复杂问题处理上的优势。
KAG 的出现为基于 LLM 的检索技术带来了新的活力和广阔的应用前景。在金融、医疗、科研等众多对信息准确性和深度推理要求极高的领域,KAG 都有望发挥重要作用。它能够帮助金融分析师更准确地预测市场趋势,辅助医生做出更精准的诊断决策,支持科研人员快速获取全面的研究资料并进行深入分析。
KAG 作为对 RAG 和 GraphRAG 的强化升级,凭借其独特的技术特性和强大的功能,为基于 LLM 的检索技术开辟了新的道路,将在人工智能应用的发展历程中留下重要的印记。
git:https://github.com/OpenSPG/KAG/blob/master/README_cn.md
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-01-16
MiniRAG:一种轻量级检索增强生成方法
2025-01-13
哈啰:构建智能出行RAG,ES还是向量数据库?
2025-01-13
企业级LLM独角兽 Cohere 发布 North:集成 RAG、搜索及 Agent 的企业级 AI 工作空间
2025-01-13
2025年这7种用于构建Agentic RAG系统的架构不可或缺
2025-01-13
RAG四种进阶方式
2025-01-13
使用RAG技术构建企业级文档问答系统:切分(3)使用Jina API进行语义切分
2025-01-13
使用RAG技术构建企业级文档问答系统:切分(2)使用Embedding进行语义切分
2025-01-12
RAG在智能问答系统中的应用
2024-07-18
2024-09-04
2024-05-05
2024-06-20
2024-05-19
2024-07-09
2024-07-09
2024-06-13
2024-07-07
2024-07-07
2025-01-13
2025-01-09
2025-01-09
2025-01-09
2025-01-06
2025-01-04
2024-12-30
2024-12-27