我要投稿

北航沙磊教授：当Agentic RAG照进现实｜Agent Insights

发布日期：2024-09-10 07:07:58 浏览次数： 1745 来源：緑洲资本 Vitalbridge

WWDC 24 发布会上，苹果带来了全新的系统，除此之外，Apple Intelligence 作为压轴戏也终于上演，让我们看见了 AI 如何融入我们的日常生活。绿洲邀请到了一位在 NLP 领域有着学术背景和产业双重背景的专家——沙磊教授，他曾经也在美国湾区苹果公司 Siri 组工作。沙教授将在本期为我们介绍他的最新研究项目 ATM（Adversarial Tuning Multi-agent System），顺便聊聊他对苹果 AI 未来发展的看法，以及 ATM 技术如何利用类似于 GAN 网络的对抗型 Agent 提升 RAG 检索生成能力。Enjoy

《ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator》

ATM Attacker Agent - Generator Agent 架构

论文链接：https://arxiv.org/abs/2405.18111

解决问题：RAG 利用语义相关文档作为生成器的输入上下文，并重新注入外部知识，但是当今互联网充斥着大量错误、无关、无用内容，甚至是 LLM 捏造的虚假知识，会给 RAG 生成器带来额外噪音，团队设计多 Agent 对抗防御系统（ATM），通过对抗引导生成器更好地了解特定文档是否有助于回答问题，增强生成器鲁棒性，最终能在 LLM 捏造文档中分辨出有用的文档

模型框架：ATM 包括生成器 Agent 和攻击者 Agent，攻击者竭力编造虚假知识并增加文件列表中的噪音，生成者抵御噪音并保持稳健，团队进行多 Agent 迭代优化，使攻击者 Agent 展现出更强大的攻击模式，生成器 Agent 迭代增强

使用效果：ATM 在自然问题上的分数提高 31%。在 ATM 架构下，Generator 生成器逐步超越了以前最先进的 RALM、RetRobust 和 Self-RAG，在各数据集上的性能领先 5%

应用空间：各个领域的 RAG 系统，另外还可以加强模型安全性、准确率等指标

ATM 测试性能

绿洲：能否帮我们简单介绍一下您过去的研究经历？

沙教授：我过去在北大读博，研究自然语言处理方向，做过大规模信息抽取以及文本生成。后来我在美国湾区苹果公司工作，在苹果 Siri 组，接触了很多对话系统方面的工作，我当时认为要把对话系统做好，需要让模型真正理解自然语言，因此我觉得应该往可解释语言模型方面发展。之后我去了牛津大学做了博后，做解释 AI 方向的工作。2022 年初回国，机缘巧合到北航做了一次分享，后来加入北航持续做自然语言处理以及可解释性方向的研究，还包括现在大模型安全和幻觉消除，以及接触到 AI for Science 相关的方向。

我觉得今天产业界天生是比较适合 Agent 架构的，从苹果对话系统开发经验来看，学术界喜欢发端到端的论文，然而在产业界要实现端到端非常困难。比如之前没有大模型的时代，其实很难去通过对话直接实现搜索、调用、生成，比如设置闹钟、打电话、发短信、找资料，不同用户实际要求太多且太杂，一个模型不可能把所有事情完成。因此过去产业界就倾向于用多 Agent 合作的方式来完成各种任务。

在大模型时代也是一样的，首先要把对话做好，需要让模型充分深刻地理解语言，非常浅地把对话系统搭好后输出的效果很容易是人工智障。大模型出现之后，本质上模型对于语言的理解能力是有质的提升的。大模型相当于智能中枢，同时也是 Multi-Agent 中的主 Agent，对语言理解得很到位，且会调用其他 Agent 的功能。

绿洲：您对于 WWDC 24 里要更新的 AI 功能与性能有什么样的期待？

沙教授：我觉得 WWDC 上展示的功能到真正推出的时候，都能够差不多实现，例如让它用不同情绪发邮件，调用邮件信息，设定日程等。苹果肯定是希望 Siri 跟大部分系统内部应用打通的，当时我在苹果的时候就在做类似的事情，某个团队负责某些应用与 Siri 之间的互联互通工作，现在大模型出来之后更加可能实现。

绿洲：能否帮我们解释一下设计 ATM 的初衷？

沙教授：最开始我们想做检索增强相关的工作，大模型本身垂类的的信息学得不是很到位，时常会出现幻觉，RAG（Retrieval-Augmented Generation）能够帮助大模型查阅相关的资料，对应特定的问题回答能够更准确。RAG 本身也分为检索、增强、生成三个部分，检索部分本身和大模型没太多关系，主要依赖检索器的性能。增强是有一定提升空间的，比如一下子检索出好几篇文档，文档的顺序如何排列（正序还是倒序，有规律排列还是无规则打乱），大模型得到的结果都不一样。人读完十篇参考文献，不管以什么顺序看，最后得出结论应该都差不多，但不同排列组合的检索信息喂给大模型会造成完全不同的生成结果。

因此团队就在思考能不能有专门的一个 Agent，不断地给大模型出难题挑战大模型，让它的稳健能力得以提升。于是我们跑出了 ATM 的方案，利用类似于 GAN 的思想，用一个 Attacker 和一个 Generator 进行对抗从而迭代生成质量，能够不断地优化 RAG 的承载能力。后来我们也和百度合作，将整篇对抗生成的理念进行更实质的落地。

绿洲：能否帮我们解释一下攻击者 Agent 以及生成者 Agent 的对抗博弈方式？

沙教授：其中攻击器负责检索出来之后，通过对内容的扰动，包括位置、顺序、细节内容的干扰等，随后输入到生成器中。攻击器不断地进行干扰期望把模型生成质量分数拉低，而生成器需要不停地无视误导，将正确的答案生成出来，过程中就是博弈的过程。整体与 GAN 网络类似，但有一定的区别，GAN 整体的对抗能够用 Loss Function（损失函数）进行连续优化的方式找到最佳答案，而我们的 ATM 对抗博弈方式更多是利用 DPO 去做一些主观的离散的优化，可以算是对齐的一部分，利用强化学习的方式来对比得到相对更好的生成答案。

绿洲：您觉得 ATM 未来能够在哪些应用空间更好地应用？

沙教授：ATM 可以应用在很多地方，比如提升大模型安全性方面，目前已经有可能会有不法分子利用大模型来制定带有攻击性的袭击，而 ATM 能够尽可能筛选不安全的生成回复，另外例如歧视、政治问题都是 ATM 可能修正的问题。只要我们发现有不安全的内容，我们就给攻击 Agent 加上标签，让它去微调一下，过去调整模型很可能比较局限，不安全信息屏蔽得不全面，但大模型 Agent 能够随时调整，实时加入新的案例施加攻击，让生成 Agent 进行理解并提升自己的防御能力，最终在人类想要保护的信息领域都能够达到不错的效果。

绿洲：您研究下一步准备做什么？

沙教授：首先 ATM 还是一个比较消耗算力的方案，怎么样减少其资源使用量是我们在思考的问题。其次 RAG 本身也有很多可以增强的点，例如检索本身有很多工程化提升空间，例如检索不到很有用的内容，或检索出来的信息颗粒度不高，内容不够全面，篇幅不够长……都是我们期待提升的空间。

另外大模型底层能力也是我们一直在关注的点，大模型本身目前是小学生水平，那我们很难去查一些资料让它回答大学生水平的问题，我们在用 7B 模型做测试，这和 175B 规模的模型能力也是差很多的，如何在垂类小模型之上更好地做调优也是我们在考虑的方向。

绿洲：您团队还关注 AI 的其他哪些领域？

沙教授：大模型安全是我主要关注的方向，另外数据增强、检索增强也是我关注的一个点。AI for Science 领域我更关注医疗、生物、化学等严肃领域，我们可以把大模型看作一个吞掉很多知识并会融会贯通使用的载体，在医学这种海量数据的领域里，大模型对知识的理解和挖掘有先天的优势，你可以让它做特征的提取，简单的理解和分析。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

微软开源的GraphRAG解读

RAG框架，都在这了!

深入解析 Graph RAG：提升语言模型问答能力的创新策略

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

比GraphRAG还好的LightRAG到底是何方神圣？

企业级RAG应用的5大技术发展趋势，你准备好了吗？

RAG搭建中，如何选择最合适的向量索引？

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

热门标签