微信扫码
添加专属顾问
我要投稿
探索AI联网搜索的奥秘,揭秘大模型如何突破数据时效性限制。核心内容:1. AI联网搜索的基本原理和流程解析2. AI联网搜索与RAG原理的对比分析3. 关键技术点:查询生成与内容提取策略
前面一系列的文章里,我们提到了AI大模型的一些能力限制,其中就包括了数据时效性不够,依赖于模型训练的时效。为此有几种解决方式,上一篇《让模型更懂你的业务!RAG原理和解决方案解析》提到了RAG外挂知识库的方式,另一种方式就是使用联网搜索。
前一段时间DeepSeek的火热,正式将大模型联网搜索能力带入了公众视野,风头一时无两。
它的出现,同时弥补了AI大模型数据时效性的问题,以及传统搜索引擎以关键词倒排索引匹配为主,无法理解语义和上下文的缺陷。
那么你有没有好奇过:大模型联网搜索是怎么一回事?它能完全替代搜索引擎吗?
本文就准备在前面一系列文章的铺垫之下,来探讨一下大模型联网搜索的实现原理。需要背景知识的可以回看一下《AI Agent:大模型落地应用的“最后一公里”?》和《实战干货!如何使用Java构建企业级AI Agent服务框架?》。
先给结论:AI联网搜索是一种Agent能力的应用,它并不是模型自带的。
简单画了一下AI联网搜索的流程示意图如下:
用户使用AI联网搜索进行提问时,大模型先语义解析用户的问题,从中提取出需要通过网络检索的关键词,比如用户提问“历史上的今天”,由于大模型没有时效性信息,它就需要通过网络去检索相关信息,根据用户的提问,它可能提取出来的搜索关键词为,“历史上的今天 3月15日”。
然后大模型通过Agent能力,调用浏览器去检索相关关键词。这里的Agent能力通常为某种搜索引擎API。搜索引擎返回搜索网页结果后,大模型再继续调用Agent能力去解析返回的网页,从中提取出文本内容。
然后将提取出的检索结果内容作为问答的上下文,结合prompt再一次同大模型交互,大模型进行内容生成和聚合,并且返回最终结果。
这么看起来,是不是有点熟悉了?跟《让模型更懂你的业务!RAG原理和解决方案解析》里讲述的过程似乎挺类似的。确实!下面会有一节来对比一下RAG和AI联网搜索的相同和差异。
查询生成
这个阶段,可能需要从用户输入的自然语言形式的问题中提取出有效的搜索查询关键词出来,当然也可能需要判断是否需要检索。如果用户输入的问题与时效性无关,可能压根就不需要涉及联网搜索。
这个自然就是大模型的强项所在。它可以将用户模糊的、有歧义的内容,通过问题改写、意图识别、多轮对话等方式正确理解,并提取出合适的关键词供后续的检索使用。
内容提取
如何从搜索引擎返回的结果中筛选出与问题最相关的网页结果?这可能是一个难度颇高的问题,涉及到两方面:
一是如何从搜索引擎返回的成千上万的结果中选择使用哪些网页;
二是如何从返回的网页中获取内容并获得与问题最相关的网页片段;
这里我只能谈一谈我自己的猜测,后面可能会采取一些实验去验证想法。
首先可能采用搜索引擎的相关性评分,优先采取评分高的返回结果;
但是我们都知道搜索引擎并不是总是将相关性最高的优先返回,竞价排名机制对结果的影响很大,所以可能根据摘要结合语义相似度来进一步判断;
可能还有一些其他的机制,比如网站权重等,大模型优先从一些专业性权威性较高的网站获取内容;
获取到搜索引擎返回的网页链接后,AI联网搜索还需要进行网页访问,从中解析出文本内容,并找到与原始问题最相关的片段,这涉及到网页爬取解析工具,不赘述。
信息整合
这个阶段,大模型可能会遇到一些不同来源、数据正确性不一致的信息,过时的、冗余的、冲突的信息,会对联网搜索的处理带来挑战,类似大模型的幻觉,这也会导致AI联网搜索给出不正确的信息。
在使用DeepSeek R1这样的推理模型时,我们有时候会看到模型的推理过程中会输出检索到了互相矛盾的结果,模型从中采信了哪一个的过程,它会结合事实核查和自身预训练的知识进行观点融合,但并不能保证它每次都能够去伪存真。
答案生成
在这个阶段,大模型已经获取到了足够的上下文内容,针对用户问题进行内容生成是大模型的强项,只要数据正确性无误,基本上大模型可以生成流畅、准确、自然的答案。
这阶段主要的问题就是基于大模型自身的幻觉问题,也是最让人头疼的问题。正是由于它生成的内容足够流畅自然,表达自信十足,甚至逻辑上条理清晰,看起来有理有据,让人很难在缺乏足够背景知识的情况下,快速分辨出AI生成结果的错误。
通过上面的原理解析,可以看出来AI联网搜索跟RAG的流程很像:
RAG是AI+知识库,而联网搜索是AI+Web,RAG依赖向量检索,联网检索依赖搜索引擎。
下面详细对比一下二者的相同和差异:
因此大模型联网搜索不是一个单纯的大模型能力,它本质上是一个AI Agent应用:结合了搜索引擎、网页内容解析等外部工具,将大模型的智能赋能了搜索引擎,提升了内容检索的体验。
回到开头的那个问题,那么AI联网搜索会完全替代搜索引擎吗?
从这个角度来说,恐怕不能。搜索引擎是AI联网搜索产品的一个Agent能力,如果没有了搜索引擎,自然也不会存在AI联网搜索了。不过倒是搜索引擎可能会升级成AI联网搜索的形式,结合AI来提升检索场景的智能程度,避免自身成为一种API形式的存在,而入口被AI联网搜索类产品替代。
最后,我们都知道大模型是有上下文限制的,如果AI联网检索是通过调用搜索引擎获取结果,那么它是如何突破大模型自身的上下文限制的呢?
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-13
2024-06-13
2024-09-23
2024-08-21
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-03-16
2025-03-15
2025-03-15
2025-03-12
2025-03-12
2025-03-10
2025-03-10
2025-03-10