AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


HippoRAG:模拟大脑记忆思索机制的 RAG
发布日期:2024-09-20 10:35:18 浏览次数: 1706 来源:深入LLM Agent应用开发


人类大脑通过不断积累和更新知识来适应环境,而大型语言模型(LLMs)虽具智能,却缺乏这种动态更新能力。为解决这一问题,研究人员开发了一种名为“HippoRAG”的新框架,模仿了大脑新皮质和海马体的工作机制,显著提升了多跳问题解答的性能,比现有 RAG 方法高出 20%。HippoRAG 不仅成本低、速度快,在单一检索步骤中还优于迭代 IRCoT 方法。这展示了如何将生物学原理应用于提高 LLMs 的效率。RAG 通过将数据集分块并索引于矢量数据库中,实现高效检索。然而,传统 RAG 在涉及多块知识整合的现实任务(如法律、医学和科学领域的多跳问题解答)上表现不佳。以前的研究,如 Self-Ask[1] 和 IR-CoT[2],通过多重检索和 LLM 生成迭代连接知识块,但在处理信息分散且无直接联系的任务上仍有不足。

例如,想找到斯坦福教授托马斯进行阿尔茨海默症研究的记录,传统 RAG 可能难以完成此任务,除非有段落同时提到斯坦福和阿尔茨海默症。然而人类则能通过联想记忆迅速联想到这两点。这就是 HippoRAG 的灵感来源。

1. 海马记忆索引理论

海马记忆索引理论[3]描述了人类长期记忆的工作机制,涉及三个区域:

  • 新皮质[4]
  • 副海马区(PHR)[5]
  • 海马体[6]

它们协同完成两大功能:

  • 模式分离:将不同经历存储为不同记忆
  • 模式补全:从部分线索中检索完整记忆

感官输入经过新皮质处理为抽象特征,通过副海马区传递至海马体存储。当试图回忆时,海马体匹配部分线索并重建记忆。这种过程通过改变海马体索引,而不是直接更新新皮质表征,完成新信息的整合。

2. HippoRAG

HippoRAG 模仿了这一记忆流程,分为两个阶段:

  • 离线索引,相当于记忆编码
  • 在线检索,相当于记忆检索

2.1 离线索引

此阶段模仿大脑编码记忆的方式,使用 LLM 提取知识图谱三元组(主语、谓语、宾语),例如“爱因斯坦出生于德国”可被表述为:

  • 主语:爱因斯坦
  • 谓语:出生在
  • 宾语:德国

这些三元组构成了人工海马体索引。通过余弦相似度,进一步添加连接边,使知识图谱更具连通性,类似于副海马区的功能。

2.2 在线检索

这一阶段模仿海马体的部分线索检索。基于 LLM 提取查询实体并将其链接到知识图谱中的查询节点,节点权重根据其特异性(类似于 IDF),使用个性化页面排名(PPR)[7]算法,优先检索相关路径,最后排序语料库中的段落,指导检索系统找出最可能包含答案的段落。上图展示了 HippoRAG 与传统 RAG 的区别,后者仅孤立编码,而 HippoRAG 创建了类似大脑的关联图。

2.3 HippoRAG 的表现

HippoRAG 在三个多跳问答数据集上的表现均优于基线方法,单步检索任务的召回率提升了 20%。在多步骤检索任务中,特别是结合 IRCoT 时,也有类似表现。与 IRCoT 相比,HippoRAG 不仅性能优越,检索成本还降低了 10-30 倍,速度提升了 6-13 倍。

HippoRAG 的改进使其在问题解答上表现更佳,精确匹配(EM)和 F1 分数也更高。

3. 总结

个人觉得 HippoRAG 同样也是基于 KG 的一种 RAG,对于多跳问题天生具有优势。它使用 LLM 提取知识图谱三元组和相似度添加更多的关系连接,建立索引。它的创新在于检索机制,先获取查询语句中的实体,然后在使用 Personalized PageRank 来优先检索相关的路径,最后给出结果。简单讲,感觉就是使用 PPR 来对子图查询排序。从以上描述来看,相较于微软的 GraphRAG

  • HippoRAG 缺少社区构建报告,对于较为抽象的问题,可能是难以回答
  • 基于查询语句实体去直接匹配子图,需要对实体消歧,不然匹配效果可能比较差。而微软 GraphRAG 是采用查询语句和索引实体描述的嵌入相似度进行匹配,理论上会有更好的兼容性。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询