DeepSearcher：开启智能搜索新纪元，赋能企业级数据研究

©作者|Dipsy

来源|神州问学

引言

在人工智能技术飞速发展的今天，搜索引擎已从简单的关键词匹配演变为复杂的智能助手。OpenAI推出的Deep Research功能，凭借其“大模型+超级搜索+研究助理”的三合一能力，为金融机构、科研人员等提供了高效的研究工具。然而，其高昂的成本和地域限制让许多企业望而却步。在这样的背景下，DeepSearcher应运而生，作为一款开源的本地化部署方案，它不仅复刻了Deep Research的核心功能，还结合了DeepSeek等主流开源模型，为企业级场景提供了更灵活、更经济的解决方案。

一、DeepSearcher架构

如下图所示，DeepSearcher 的架构可以被分解为四个环节：定义/细化问题、研究、分析、综合。

a.定义/细化问题

DeepSearcher采用渐进式问题细化策略，用户最初提出的查询首先会被分解为多个子查询。例如，用户查询的问题为“辛普森一家随着时间的推移发生了什么变化？”，DeepSearcher会将其分解生成多个初始子查询问题：

“《辛普森一家》从首播至今，其文化影响和社会相关性是如何演变的？”

“《辛普森一家》在不同季节中，角色发展、幽默和叙事风格发生了哪些变化？”

“《辛普森一家》的动画风格和制作技术随着时间的推移发生了哪些变化？”

“《辛普森一家》在播出期间，反响和收视率是如何变化的？”

通过将复杂查询拆解为多个子问题，DeepSearcher能够更加精准地定位问题核心，并针对每个子问题进行深度搜索和分析，从不同角度获取信息，从而确保每个方面的信息都能得到充分挖掘和整合，提升问题解决的精准度。在拆解问题后，DeepSearcher可以针对每个子问题进行定向搜索，系统通过智能查询路由的动态检索，选择与当前子问题相关性最高的数据源，避免在无关信息上浪费资源，从而提升检索效率。此外，子问题的拆解为后续的多步骤推理奠定基础，便于DeepSearcher在每轮检索后对结果进行反思优化。

b.研究与推理

在将原始查询分解为子查询后，DeepSearcher基于路由决策、混合检索、动态反思和迭代优化进行研究推理。

由于数据库中通常包含不同来源的多个表格和集合，如果对所有表格进行搜索，查询效率将会大幅降低，故而DeepSearcher将语义搜索限制在与当前查询相关的来源上，显著提高查询效率。具体来说，DeepSearcher利用LLM的语义理解和推理能力，提取子查询和数据库中不同数据源描述的语义信息，并对二者进行匹配，以实现对数据源的动态选择。

在实际存储中，源数据通常被预先进行了分块和向量化处理，然后存储在向量数据库中，故而在选定各种数据源后，可以使用MilVus进行向量的相似度搜索。

此外，DeepSearcher还展示了一种真正的智能体反思形式，它将先前的输入作为上下文输入到一个提示中，该提示会“反思”到目前为止提出的问题及检索的文本是否存在信息缺口，即通过多轮问答识别信息盲区。当反思检查到信息缺口时，会触发新一轮研究，生成新的子查询，直到大模型判定可以退出循环并生成报告。例如，在回答完前述问题后，DeepSearcher通过“反思”提出新的子查询：

“不同季中，《辛普森一家》配音演员和制作团队的变动对该剧的发展产生了怎样的影响？”

“在过去几十年里，《辛普森一家》的讽刺和社会评论在其适应当代问题的过程中发挥了什么作用？”

“《辛普森一家》是如何应对并将媒体消费的变化（如流媒体服务）融入其发行和内容策略的？”

DeepSearcher通过语义路由，将查询限制在于当前子查询最相关的数据源上，能够有效提升查询效率，减少检索时间，降低资源消耗。此外，在处理复杂查询时，其能通过多跳推理从多个数据源提取相关信息，并利用多轮迭代优化提升答案的准确性，更适用于复杂推理任务，为用户提供更全面、更准确的检索结果。

c.结构化综合

在最后，大模型会基于拆解后的子问题及对应的检索数据进行综合，为用户提供一份完整的报告。相比于早期简单拼接式的综合方案，DeepSearcher通过全局上下文感知消除内容冗余，进行信息去重，并利用大模型的推理能力自动进行逻辑验证，检测论点矛盾，保持全篇叙述的风格统一和连贯性。

二、DeepSearcher的核心技术亮点

a.私有化数据支持

企业级私有数据库通常具有敏感性和成本问题，真正有价值的数据多以企业内部数据的形式存在，既无法通过在线搜索获取，也不能被上传给大模型，以免出现隐私泄露风险。因此，在大多数企业级应用中，基于DeepSearcher做私有化部署可能是更有潜力的方案。DeepSearcher可以接入企业的私有数据，通过Milvus向量数据库进行检索，最大化利用私有数据，确保数据的安全性和敏感性。这种本地化部署方式不仅降低了成本，还满足了企业对数据隐私的高要求。

b.动态检索与信息整合

DeepSearcher能够通过多步骤的网络调查，快速整合来自互联网的海量信息，包括文本、图像和PDF文件。此外，DeepSearcher充分利用向量数据库的海量数据处理能力，具有低延时搜索、多种索引参数、高可用性和资源弹性管理等优势，这种能力使其在复杂任务中表现出色。其信息检索和整合的核心在于智能查询路由和条件执行流程，能够动态调整问题框架，确保信息的完备性和准确性。

c.多步骤推理与自我优化

与传统的静态RAG不同，DeepSearcher采用了Agentic RAG架构，通过动态规划、多步骤推理和自主决策机制，采用迭代细化和自适应检索策略，能够在复杂任务中实现闭环的检索-加工-验证-优化。这种架构使得DeepSearcher在生成报告时，能够利用检索和生成过程的模块化，利用基于Agent的自主性自动调整检索策略，确保输出的质量和相关性。

三、DeepSearcher与传统RAG的对比

a.检索及生成机制的升级

传统RAG依赖向量相似性检索，而DeepSearcher可以更精准地捕捉信息之间的深层联系。传统RAG的检索方式类似于在图书馆中根据书名和简介寻找书籍，由于RAG会将文档内容“向量化”，打上特征标签，所以可以根据标签快速匹配内容，这种方式虽然直接明了，但可能会遗漏深层次的关联信息。而DeepSearcher则是将信息分层组织，首先展示核心关系，然后逐层深入到具体情节，通过多层并行进行检索过滤，使得信息层次清晰、易于理解。故而在处理复杂查询时，DeepSearcher可以通过知识图谱进行多跳推理，而传统RAG只能返回单点信息。

此外，传统RAG直接基于相关文本内容生成回复，而DeepSearcher生成的回复更多来源于数据的搜索结果，而非大模型生成，大模型主要负责结合多层信息深入挖掘，进行内容总结和相关性判定，进一步提升了回复的可信度。

b.推理能力的增强

DeepSearcher基于大模型的推理能力，通过添加额外的判定逻辑，将复杂问题拆解为多个子问题，并在多轮查询中不断迭代优化，在此过程中可采用多源验证、逻辑推导等质量控制机制，生成更为准确的回复。相比之下，传统RAG的生成过程较为静态，不能动态调整，可能存在盲目检索和过度检索的问题，在信息整合和验证方面也不够完善。

c.应用场景的扩展

传统RAG适用于简单的事实问答，而DeepSearcher则能够处理复杂的推理任务和报告生成，这种自主性和多步骤解决问题的能力是传统RAG难以做到的。这一能力也大大拓宽了DeepSearcher的应用场景，例如市场分析、竞争对手研究等，Agentic RAG架构使其在此类需要多步推理的任务中表现尤为突出。

下表为传统RAG和DeepSearcher的多维度总结对比：

四、DeepSearcher github项目实战

a.环境准备与安装

DeepSearcher的开源项目链接为：https://github.com/zilliztech/deep-searcher，

目前项目支持DeepSeek、OpenAI等多种LLM，用户可以根据需求进行灵活选择。

首先需要从Github上克隆DeepSearcher的源码到本地，并使用Python 3.10及以上版本创建虚拟环境并激活，然后安装项目所需要的依赖。

b.项目配置与数据加载

在代码中主要需要配置LLM和向量嵌入模型，例如使用OpenAI的GPT-4和text-embedding-ada-002模型则配置如下所示：

向量数据库和文件加载器的配置方法也基本类似：

目前该项目支持加载本地文件（如PDF、TXT等）并将向量嵌入存储到向量数据库中：

c.执行查询和生成报告

最后通过简单的代码即可执行查询并获取结果：

d.应用示例

本demo的搭建过程中选择了AzureOpenAI的gpt-4o作为LLM，选用Milvus内置的嵌入模型bge-m3作为embedding模型，参数配置如下所示：

然后选取了Oracle 23ai、Agent SDK、manus三个主题的相关文档分别存储在Milvus数据库不同的collection中，相关操作如下所示：

最后进行查询，要求DeepSearcher生成一篇关于Oracle23ai的总结报告：

为了让其回复中文结果，在最后的总结步骤使用的SUMMARY_PROMPT中添加了“请返回中文结果”的提示信息，其思考过程和最终回复如下图所示：

最终模型总结生成的回复如下：

从上面的结果中可以看出，DeepSearcher将用户输入的查询从多个维度拆解为子问题，然后在数据库中相关的collection中进行搜索，通过反思决定执行逻辑，生成最终的回复。

五、DeepSearcher的应用场景与行业影响

a.应用场景

DeepSearcher可以广泛应用于复杂决策建议、各类报告生成的场景中，例如学术研究、市场分析、产品评估等。学生和研究人员可以利用DeepSearcher快速获取相关领域的深入资料，辅助论文写作和课题研究。企业可以通过DeepSearcher进行市场调研、竞争对手分析及产品比较，支持商业决策，其动态检索机制和复杂推理能力使其从多维度角度分析处理较为棘手的市场数据。此外，消费者能够借助DeepSearcher对比不同产品的特性和评价，做出明智的购买决策。例如，通过分析用户评论和产品参数，DeepSearcher可以生成一份详细的购买建议。

b.行业影响

DeepSearcher的Agentic RAG架构标志着搜索引擎从被动响应向主动推理的转变，开启了搜索3.0时代，其动态检索和多步骤推理能力使其在处理复杂任务时具有显著优势。

通过本地化部署和私有数据支持，DeepSearcher为企业提供了更安全、更高效的知识管理工具，其开源特性还降低了企业的技术门槛，有效助力企业实现智能化转型。随着多模态学习和推理能力的进一步提升，DeepSearcher有望在医疗诊断、法律咨询等更多领域实现突破，其与知识图谱的结合也将为复杂推理任务提供更强大的支持。

结语

DeepSearcher不仅是一款开源的研究工具，更是企业级数据研究的革命性解决方案。它通过结合大模型、超级搜索和私有数据支持，为用户提供了高效、精准的研究体验。未来，随着技术的不断迭代，DeepSearcher将在更多场景中展现其强大的潜力，推动智能搜索技术的进一步发展。