最近帮企业定制了一个langgraph+rag的项目，跟大家简单介绍一下设计架构和具体的应用。如果大家有兴趣，我也可以出一期视频，给大家详细介绍一下。我们会一步步探讨如何构建一个可以控的Agent，以执行RAG任务，并最终展示一个简短的演示。

什么是RAG？

RAG，全称Retrieval-Augmented Generation，是一种辅助AI语言模型生成基于外部信息文本的方法。在RAG中，我们将数据拆分成多个小块，然后将这些小块嵌入到低维空间并存储在向量存储中。当用户提出查询时，该查询也会嵌入到相同的低维空间，与向量存储中的信息进行比较，从而检索到相关的信息作为上下文，并与查询一起输入到语言模型中，生成基于上下文的最终答案。

什么是Agent？

智能代理是先进的AI系统，设计用于执行需要连续推理的复杂任务。它们可以预见未来的步骤，记住过去的对话，并使用不同的工具根据情况和需求调整其响应。

为什么我们需要控制Agent？

控制智能代理的原因在于代理自主性与过程控制之间的权衡。代理的自主性越高，我们对其控制就越少。使用常规代理时，我们无法控制它何时使用工具或以何种顺序使用工具，也无法控制其得出的结论，特别是在处理其内在机制中的幻觉或预训练知识时。然而，通过构建工作流程，我们可以定义解决问题的具体路径，从而对每一步进行全面控制，但这需要量身定制的解决方案，可能耗时且复杂。

构建可控的RAG代理的基本模块

语义相似性

在我们的嵌入空间中，嵌入数据的方式使得相似的词汇彼此接近。例如，“国王”和“王后”的距离会比“狗”近。利用这种语义相似性，我们可以在简单的RAG任务中，例如历史事件查询中，检索到相关的上下文并生成答案。

处理复杂问题

对于更复杂的问题，我们需要不同的方法来构建数据。例如，我们可以使用语言模型生成章节摘要，包含关键点和章节总结，增加找到解决此类问题的可能性。

多向量存储

为了精确处理复杂问题，我们可以建立多个向量存储，例如文本块存储、章节摘要存储和书籍引用存储。

构建可控RAG代理的工作流程

我们需要以下能力：

1. 工具：代理需要具备检索和回答问题的工具。

2. 推理能力：构建解决问题的流程。

3. 过程控制：确保每一步按预期进行。

4. 终止判断：知道何时停止代理的操作。

5. 评估任务表现：评估任务完成的效果。

Agent Tools

我们需要三种检索工具：引用检索、章节摘要检索和文本块检索。此外，还需要一种回答工具，用于在中间步骤或最终生成答案时使用已有的上下文。

问题匿名化

为了避免预训练模型的偏见，我们可以将问题中的特定实体替换为变量，例如将“关羽是如何打败华雄的？”替换为“X是如何打败Y的？”，构建一般计划后再替换回原始名称。

代理工作流程

1. 输入问题并匿名化。

2. 使用计划器构建匿名问题的解决步骤。

3. 去匿名化并分解为检索或回答工具。

4. 任务处理器选择合适的工具进行操作。

5. 根据上下文和计划进行重新规划，直到问题解决或达到终止条件。

终止条件

我们可以通过以下方法判断何时停止：

1. 每一步询问语言模型当前上下文是否足够回答问题。

2. 直到新信息量低于某个阈值。

3. 限制图的递归次数，如达到100次遍历后停止。

评估

我们可以通过以下指标评估RAG任务的效果：

1. 答案正确性：答案是否事实正确。

2. 忠实度：生成的答案是否基于检索的信息。

3. 答案相关性：答案与问题的相关性。

4. 语义相似度：生成答案与标准答案的语义相似度。

总结

通过结合RAG和智能代理，我们能够解决复杂的任务，尽管可能需要权衡时间和成本，但在解决无法通过其他方法解决的任务时，这种方法具有显著优势。

如果您有任何问题或需要进一步的讨论，请随时联系我。谢谢！

常见问题

为什么不同时检索所有信息？

这是设计上的选择，同时检索所有信息可能会导致时间和成本的增加，且不一定需要所有的信息。例如，针对某些特定问题，代理可能只需要引用检索工具。

如何验证答案是否是幻觉？

我们可以使用语言模型作为判断工具，验证生成的答案是否基于原始上下文。

这种方法是否具有成本效益？

这取决于具体的使用场景。如果现有解决方案无法解决问题，而通过客户支持等方式需要花费数天时间，那么这种方法可以在几秒钟或几分钟内解决，从而节省时间和成本。