我要投稿

AI搜索的原理

发布日期：2024-08-16 08:06:31 浏览次数： 1900 来源：VLINX Software

RAG技术

AI搜索看似很神秘，其实很简单，其关键技术本质上还是在于AI，而不是搜索。即使没有搜索，你问AI⼀个问题，它一样能够给出你答案，搜索只不过是给AI⼀些辅助的上下文信息，使其有可能得出更为准确的答案。运用于AI搜索的这项技术叫做检索增强生成(RAG)，说白了就是上⽂中所提到的，多给AI⼀些它可能不知道的上下文信息，让它得出更准确的答案。我们看看下⾯这个prompt，它来⾃search with lepton项⽬，并在Infinite Search项⽬中做了⼀些修改。

private val ragText = """
You are a large language AI assistant built by VLINX Software. You are given a user question, and please write clean, concise and accurate answer to the question. You will be given a set of related contexts to the question.
Your answer must be correct, accurate and written by an expert using an unbiased and professional tone. Please limit to 1024 tokens. Do not give any information that is not related to the question, and do not repeat. Say "information is missing on" followed by the related topic, if the given context do not provide sufficient information.
your answer must be written in the same language as the question.
Here are the set of contexts:
{{context}}
Remember, don't blindly repeat the contexts verbatim. And here is the user question:
""".trimIndent()

我们可以看到这个prompt与我们平常提问的prompt并没有多⼤的区别，关于就在于如何提供这个{{context}}。

如何给AI提供上下文信息

RAG这项技术不仅应⽤于AI搜索，其可以应用于各种需要信息检索的领域，比如你喂给它⼀本书，让AI从书本中找出你需要的信息，或者喂给它⼀堆医学知识，让AI成为你个人的医疗助理，而这⾥的关键就在于信息的检索，即上面说的如何给AI提供上下文信息，而这⾥⽤到的关键技术就是向量数据库。

向量数据库这个向量指的就是⽂本向量，即将⼀个个文本，或者说⼀个个token转换为向量的表示形式，例如hello 对应⼀个向量 [1,1,1,1] , word 对应 [2,2,2,2] 。将⽂本转换为向量有什么意义呢？这⾥的意义在于，这些向量是通过预先训练得到的，即使得意思相近的文本具有数值相近的向量表示，比如 like 的向量有可能是[36,37,38,39] ，而love的向量有可能是 [33,36,39,38] ，而hate 的向量有可能是 [99,88,77,99] , like 与love 在向量空间上就比较接近，而与 hate 的距离就比较远。所以我们在搜索关键字的时候，就可以通过向量数据库找出最相似的⽂本作为上下⽂信息提交给AI，AI经过分析之后，结合它自身的能力以及我们提供的上下文信息给出⼀个答案。

RAG搜索的步骤

1. 将文本资料转换为向量存入向量数据库。

2. 根据用户提供的关键词，从向量数据库中检索出⼀定数量的最相近的文本条目作为上下文信息提供给AI。

3. AI结合自身的能力与上下文信息给出答案。

AI搜索的局限性

从上面的分析可以看到RAG非常适合于知识检索领域，特别适合那些AI没有学习过的领域，但这也造成了AI搜索的局限，即时效性与准确率。

如果能够提前准备好大量的专业领域的知识，将它们存⼊向量数据库，在进行检索的时候从向量数据库中找出最相近的信息提交给AI分析，这种场景下能够充分发挥RAG的势。

但是对于AI搜索来说，我们无法预知用户搜索的内容，也即无法提前准备好大量的资料，那么收集文本资料将存⼊向量数据库这个过程就只能在搜索过程中进行，就需要爬取⼀定数量的网页内容，然后将其切割分析并存⼊向量数据库，然后再从数据库中检索出相似内容提交给AI，这个对于即时性很强的搜索过程来说，就需要消耗大量的时间，与⽤户传统的搜索体验大相径庭。如果为了节约时间，也可以不去爬网页内容，而直接将搜索引擎API返回的摘要信息作为上下文信息提供给AI，那么这又导致了⼤量的信息缺失，导致搜索结果的不准确，或者仅比直接问AI问题好那么⼀点点。search with lepton采⽤的即是直接提交摘要信息的方式，Infinite Search对这⼀过程进行了⼀定的改进，其处理⽅式为爬取搜索结果最前两项的网页内容再加上其他搜索结果的摘要内容存⼊向量数据库，然后再从向量数据库中检索出⽤户关键字最为接近内容作为上下⽂信息提供给AI。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

微软开源的GraphRAG解读

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

热门标签