我要投稿

大模型RAG的下一形态，MAG

发布日期：2024-09-10 21:25:49 浏览次数： 1891 来源：NLP前沿

LLMs在处理长文本时，因为注意力机制二次时间和空间复杂度的问题，所以处理长文本时的内存消耗和计算成本有点恐怖。检索增强生成RAG自然就成了一个工业界成熟的解决方案，MemLong是一个新的解决方案，跟之前有些产品提到的RAG2.0有点类似（RAG 2.0有无数个版本~）。

整体上来看，他跟RAG的对比图如下，主要是通过存储过去的上下文和知识在一个记忆库中，利用这些存储的信息来检索（K-V and embedding pairs），来达到扩展了模型的上下文窗口的目的。

与标准语言建模目标相比，还会利用外部检索获取相关信息，并在模型的上层进行知识融合。

整体架构图如下

存储：文本 -> 块 -> 低层clm编码 -> 记忆存储
检索：给定一个新生成的文本块，检索与当前上下文最相关的过去信息

上层的注意力机制修改，将传统的多头注意力扩展到联合注意力机制，使每个token能够同时关注局部上下文和块级过去上下文

在多个长文本语言建模基准上进行了评估，显示出比其他最先进的LLMs更好的性能。它在单个GPU上能够将上下文长度从4k扩展到80k，大幅提高了模型在长文本任务中的性能。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-03-10

超越 RAG：Memobase 为 AI 应用注入长期记忆

2025-03-10

【AI落地应用实战】RAGFlow + 知识图谱 + Deepseek 初步探索

2025-03-10

milvus lite快速实践-了解RAG落地背后的机制

2025-03-09

为什么RAG系统要拥抱向量检索？揭示关键字检索的致命弱点！

2025-03-09

不要盲目再使用DeepSeek R1和QWQ这些推理模型做RAG了

2025-03-07

r1-reasoning-rag：一种新的 RAG 思路

2025-03-05

提高企业 RAG 准确性的分步指南

2025-03-05

DeepSeek-R1 x Agentic RAG：构建带"深度思考"开关的知识研究助理｜深度长文

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

Graph RAG 迎来记忆革命：“海马体”机制如何提升准确率？

2025-03-05

谷歌放大招！RAG 技术已死？

2025-03-03

知识库对决：知乎、钉钉、腾讯、谷歌，谁更懂你的资料？

2025-03-02

直接拿大模型当搜索页(SERP)会怎样？

2025-02-28

传统RAG的局限被打破！三个轻量级智能体分工协作，如何让问答系统更精准？

2025-02-24

RAG、LangChain、Agent 到底有啥关系？

2025-02-23

解锁AI新技能！揭秘检索增强生成（RAG）：如何让AI更懂你的业务？

2025-02-15

DeepSeek-R1超高幻觉率解析：为何大模型总“胡说八道”？

2025-02-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB