我要投稿

大模型模仿人类记忆，迎来无限上下文时代

发布日期：2024-07-18 18:38:26 浏览次数： 3181

我们都知道，人类大脑在处理长时间的记忆和事件时表现出色。

而现有的大型语言模型（LLMs），虽然已经展现出了非凡的能力，但在处理广泛的上下文时仍然存在困难，这限制了它们在处理长序列时保持连贯性和准确性的能力。

这样的表现有限主要是因为：

- Transformer架构在遇到比它们训练时用的上下文更长的内容时，会变得不太灵活。

- 当序列很长时，注意力机制的效果会变得混乱和噪声化。

- 尽管像检索增强生成（RAG）这样的技术有一些进展，但在处理长上下文任务时，效果还是不够好。

相比之下，人类的大脑在组织和检索跨越一生时间尺度的事件体验方面非常出色。

在这项工作中，介绍了EM-LLM，这是一种新颖的方法，它将人类事件记忆和事件认知的关键方面整合到LLMs中，使它们能够有效处理几乎无限的上下文长度，同时保持计算效率。

EM-LLM（Episodic Memory，情景记忆）：使得LLM能够处理几乎无限长的上下文，同时保持计算效率。

EM-LLM通过在推理过程中基于惊奇水平（Bayesian surprise）对词序列进行分段，初步边界是动态确定的，随后通过图论度量进行优化。

这种方法不仅提高了模型的记忆检索效率，还模仿了人类记忆的时间动态，使得相关信息的检索既基于相似性也考虑时间连续性。

EM-LLM通过结合贝叶斯惊喜和图论边界细化的方式，将一系列标记组织成连贯的事件体验，并以在线方式进行。

当需要时，这些事件通过一个两阶段的记忆过程被检索，结合基于相似性和时间连续性的检索，以高效且类似人类的方式访问相关信息。

在LongBench数据集上的实验表明，EM-LLM的性能优于最先进的InfLLM模型，在各种任务中整体相对提高了4.3%，包括在PassageRetrieval任务上提高了33%。

此外，分析显示，EM-LLM的事件分割与人类感知的事件有很强的相关性，表明了这个人工系统和其生物对应物之间的桥梁。

这项工作不仅提升了LLM在处理扩展上下文方面的能力，还为探索人类记忆机制提供了一个计算框架，为人工智能和认知科学领域的跨学科研究开辟了新的途径。

未来研究可以探索更复杂的分段和聚类算法，以进一步提升EM-LLM的性能。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯