微信扫码
与创始人交个朋友
我要投稿
人类大脑通过不断积累和更新知识来适应环境,而大型语言模型(LLMs)虽具智能,却缺乏这种动态更新能力。为解决这一问题,研究人员开发了一种名为“HippoRAG”的新框架,模仿了大脑新皮质和海马体的工作机制,显著提升了多跳问题解答的性能,比现有 RAG 方法高出 20%。HippoRAG 不仅成本低、速度快,在单一检索步骤中还优于迭代 IRCoT 方法。这展示了如何将生物学原理应用于提高 LLMs 的效率。RAG 通过将数据集分块并索引于矢量数据库中,实现高效检索。然而,传统 RAG 在涉及多块知识整合的现实任务(如法律、医学和科学领域的多跳问题解答)上表现不佳。以前的研究,如 Self-Ask[1] 和 IR-CoT[2],通过多重检索和 LLM 生成迭代连接知识块,但在处理信息分散且无直接联系的任务上仍有不足。
例如,想找到斯坦福教授托马斯进行阿尔茨海默症研究的记录,传统 RAG 可能难以完成此任务,除非有段落同时提到斯坦福和阿尔茨海默症。然而人类则能通过联想记忆迅速联想到这两点。这就是 HippoRAG 的灵感来源。
海马记忆索引理论[3]描述了人类长期记忆的工作机制,涉及三个区域:
它们协同完成两大功能:
感官输入经过新皮质处理为抽象特征,通过副海马区传递至海马体存储。当试图回忆时,海马体匹配部分线索并重建记忆。这种过程通过改变海马体索引,而不是直接更新新皮质表征,完成新信息的整合。
HippoRAG 模仿了这一记忆流程,分为两个阶段:
此阶段模仿大脑编码记忆的方式,使用 LLM 提取知识图谱三元组(主语、谓语、宾语),例如“爱因斯坦出生于德国”可被表述为:
这些三元组构成了人工海马体索引。通过余弦相似度,进一步添加连接边,使知识图谱更具连通性,类似于副海马区的功能。
这一阶段模仿海马体的部分线索检索。基于 LLM 提取查询实体并将其链接到知识图谱中的查询节点,节点权重根据其特异性(类似于 IDF),使用个性化页面排名(PPR)[7]算法,优先检索相关路径,最后排序语料库中的段落,指导检索系统找出最可能包含答案的段落。上图展示了 HippoRAG 与传统 RAG 的区别,后者仅孤立编码,而 HippoRAG 创建了类似大脑的关联图。
HippoRAG 在三个多跳问答数据集上的表现均优于基线方法,单步检索任务的召回率提升了 20%。在多步骤检索任务中,特别是结合 IRCoT 时,也有类似表现。与 IRCoT 相比,HippoRAG 不仅性能优越,检索成本还降低了 10-30 倍,速度提升了 6-13 倍。
HippoRAG 的改进使其在问题解答上表现更佳,精确匹配(EM)和 F1 分数也更高。
个人觉得 HippoRAG 同样也是基于 KG 的一种 RAG,对于多跳问题天生具有优势。它使用 LLM 提取知识图谱三元组和相似度添加更多的关系连接,建立索引。它的创新在于检索机制,先获取查询语句中的实体,然后在使用 Personalized PageRank 来优先检索相关的路径,最后给出结果。简单讲,感觉就是使用 PPR 来对子图查询排序。从以上描述来看,相较于微软的 GraphRAG
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-23
FastRAG半结构化RAG实现思路及OpenAI O1-long COT蒸馏路线思考
2024-11-23
检索增强生成(RAG):解密AI如何融合记忆与搜索
2024-11-23
如何提高RAG系统准确率?12大常见痛点及巧妙解!
2024-11-23
RAG 2.0性能提升:优化索引与召回机制的策略与实践
2024-11-22
RAG技术在实际应用中的挑战与解决方案
2024-11-22
从普通RAG到RAPTOR,10个最新的RAG框架
2024-11-22
如何使用 RAG 提高 LLM 成绩
2024-11-21
提升RAG性能的全攻略:优化检索增强生成系统的策略大揭秘 | 深度好文
2024-07-18
2024-05-05
2024-07-09
2024-05-19
2024-07-09
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21