我要投稿

大模型Multi-Agents记忆共享：利用实时记忆存储和检索系统来增强上下文学习

发布日期：2024-04-26 08:00:28 浏览次数： 1974 来源：PaperAgent

随着大型语言模型（LLM）的发展，基于LLM的智能体（agents）通过自然语言提示执行任务的能力得到了显著提升，这减少了对显式重新训练或微调的需求。然而，当应用于开放式挑战（如诗歌创作）时，由于提供的示例的全面性和智能体理解问题内容的能力的限制，现有方法在生成预期结果方面存在显著局限性。

为了解决这些问题，提出了Memory Sharing (MS) 框架，旨在通过实时记忆存储和检索系统来增强LLM多智能体的上下文学习过程。

记忆共享（Memory Sharing）框架。每当生成一个新的（提示，回答）对时，它将被考虑加入到记忆池中，并用于训练检索器。

MS框架将智能体的输入和输出视为“提示-回答”（PA）对，这些对构成了智能体的记忆池。该框架的关键组成部分包括：

记忆生成（Memory Generation）：当智能体接收到查询时，检索器会根据策略（例如三拍学习）确定从记忆池中获取的记忆数量。这些记忆与原始查询结合形成增强提示，智能体根据这个提示生成回答，从而构成了一个新的记忆候选。
记忆写入（Memory Writing）：每个新生成的记忆候选都会经过评分机制的评估，以确定其是否适合加入记忆池。评分标准由LLM自动生成，并经过人工审核以确保一致性和适用性。
记忆检索（Memory Retrieval）：检索器使用新加入的记忆来持续更新自己，以便更好地适应新记忆。检索器通过评估记忆的相关性来构建提示，从而提高智能体对查询的理解。

一个例子说明了智能体（Sonnet）如何与MS框架协作。(1) 检索器将智能体的原始查询作为输入，从记忆池中检索合适的记忆，并将它们与查询连接起来形成提示。(2) 智能体（Sonnet）接收提示并作出回答，将它们打包为（提示，回答）。(3) 评分器根据设计的评分标准为（提示，回答）生成一个分数，而得分高的（提示，回答）对将被添加到记忆池中，同时也会被发送去训练检索器。所有智能体共享同一个记忆池；它们可以向池中写入记忆，并从池中检索记忆，这样它们就可以相互共享记忆。

通过在三个不同领域的实验来验证MS框架的有效性：

文学创作：智能体被分配生成不同类型的文学作品，如Wuyanlvshi、Limericks和Sonnets。使用来自其他智能体的记忆可以提高智能体在文学创作方面的性能。

非传统逻辑问题解决：智能体被赋予解决横向思维谜题、谜语和双关语的任务。尽管ROUGE分数相对较低，但BERTScore的提高表明智能体能够从记忆中吸收多样化的知识，产生更加细致和语义一致的输出。

智能体在执行开放式查询时使用不同数量记忆的性能。每个领域都有其内部三个智能体共享的领域池。每个智能体中每个指标的最高分以粗体显示。

计划生成：智能体负责创建学习计划、旅行计划和健身计划。实验发现，随着记忆池中新记忆的增加，智能体在计划生成方面的性能得到了提升。

使用三个合适的记忆和定期更新的领域池来评估智能体在处理开放式查询方面的性能

一个示例文本，展示了智能体如何回答一个开放式问题

Memory Sharing for Large Language Model based Agentshttps://arxiv.org/pdf/2404.09982.pdfhttps://github.com/GHupppp/MemorySharingLLM

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

一文带你了解大模型——智能体（Agent）

2024-05-28

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

更改ollama模型存储路径

2024-04-25

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

大家都在问

跟大模型对话时prompt提示词越礼貌结果越好？为什么？

2025-01-10

2025 AI Agent迷局：谁在玩真的，谁在演戏？

2025-01-10

如何用GraphRAG + GNN解锁知识图谱的隐藏价值？

2025-01-10

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

2025-01-09

搭建RAG架构，如何选择向量数据库产品？

2025-01-09

搭建RAG应用，Embedding模型如何选？

2025-01-09

杨芳贤｜AI 2.0时代，如何拥抱与驾驭大模型？

2025-01-09

深度长文｜AI的“巴别塔”：多Agent协同为何如此之难？

2025-01-09

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

本地部署大模型？看这篇就够了，Ollama 部署和实战

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

太强了！10大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

最强 GPT 免费使用！GPT4O 开启多模态新时代！

大家都在问

跟大模型对话时prompt提示词越礼貌结果越好？为什么？

2025 AI Agent迷局：谁在玩真的，谁在演戏？

如何用GraphRAG + GNN解锁知识图谱的隐藏价值？

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

搭建RAG架构，如何选择向量数据库产品？

搭建RAG应用，Embedding模型如何选？

杨芳贤｜AI 2.0时代，如何拥抱与驾驭大模型？

深度长文｜AI的“巴别塔”：多Agent协同为何如此之难？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

本地部署大模型？看这篇就够了，Ollama 部署和实战

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

太强了！10​大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

最强 GPT 免费使用！GPT4O 开启多模态新时代！

大家都在问

跟大模型对话时prompt提示词越礼貌结果越好？为什么？

2025 AI Agent迷局：谁在玩真的，谁在演戏？

如何用GraphRAG + GNN解锁知识图谱的隐藏价值？

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

搭建RAG架构，如何选择向量数据库产品？

搭建RAG应用，Embedding模型如何选？

杨芳贤｜AI 2.0时代，如何拥抱与驾驭大模型？

深度长文｜AI的“巴别塔”：多Agent协同为何如此之难？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！