Jerry Liu CEO , LlamaIndex

编者摘要：很多企业和组织利用大语言模型RAG技术(检索增加生成）效果不好，准确度不高。简单说RAG只是将企业和组织特有文档分割切块转成本地向量库与LLM拟合输出检索结果，我们说这是RAG1.0，特点就是简单的朴素的，或者说是幼稚的。企业和组织很多知识文档包含PPT、表格，针对产品演示POC很好，但是落地转向生产效果不佳。当下大家都在说智能体，推理，记忆、工具，LlamaIndex提出DRAG就是RAG2.0技术。重点有三点：1）数据质量：文档解析器及吸收，如何分割复杂文档，特别是财经类文字、图片、表格文档里面的关联数据，去掉页眉页脚和备注等无关文字，需要构建流水线，用Parse生产半结构化MarkDown（文字+表格），提高数据质量。2）规划各类任务。3）推理DAG与反思。 4）工具调用如自动检索、文本转 SQL。5)多智能体如协同。RAG2.0的关键是多基础模型厂商的派生智能体工具能够有效协同。Jerry在DataBricks DATA+AI大会的PPT共计59页，参加本文。

目录

1.构建一个知识助理

2.RAG概览: 基础RAG 及容易出错之处

3.改进数据质量

•  通过复杂数据改进大语言模型的推理过程

·    交流:复杂文档LlamaParse解析

4.改进复杂查询:从 RAG to 智能体

·  交流:LlamaParse-powered  文档智能体 

5.下一步是什么

Jerry Liu PPT关键文字摘要

朴素RAG挑战

-朴素的 RAG 方法往往适用于简单、一小群文档上的简单问题。

-·“特斯拉的主要风险因素是什么？（超过特斯拉 202110K）

·-“作者在YC期间做了什么？（保罗·格雷厄姆随笔）

-易于原型化，难以生产化

但是，在更多问题和更大的数据集上生产 RAG 是很困难的

-故障模式:

•  简单问题胜过复杂数据

•  多个文档的简单问题

• 复杂问题

首要目标应该是弄清楚如何从你想问的一组代表性问题中获得高响应质量

我们能做得更多吗？

在朴素的设定中，RAG是无聊的。

• 只是一个美化的搜索系统

• 有许多问题/任务是幼稚的 RAG 无法给出答案的.

我们能否超越简单的搜索/QA，构建一个通用的上下文增强研究助手？

主要关注领域

改进数据质量

• RAG 的好坏取决于您的数据

• 垃圾输入=垃圾输出

• 开发人员需要弄清楚的参数太多了。

• 良好的数据质量是任何生产 LLM 应用程序的必要组成部分

通用原则

 解析:

·糟糕的解析器是垃圾输入==垃圾输出的关键原因。

·格式糟糕的文本/表格甚至会让最好的LLM 也感到困惑

分块:

·尽量保留语义相似的内容。

·5级文本拆分

·强基线：页面级分块。

索引：

·原始文本经常混淆嵌入模型。

·不要只嵌入原始文本，嵌入引用。

·让多个嵌入指向同一个块是一个很好的做法！

案例学习：复杂文档

• 许多文档可以归类为复杂文档

• 嵌入表格，图表，图像不规则布局

• 页眉/页脚

• 朴素RAG索引流水线难以处理这些文档

让我们一起构建高级RAG索引流水线

• 大多数 PDF 解析是不够的

• 提取到凌乱的格式，

• 无法传递到更多高级

• 吸收/检索算法。

• 一份特别文件

解析器旨在让您在复杂文档上构建 RAG

https://github.com/run-llama/llama_解析

LlamaParse  +高级索引

1.使用 LlamaParse 解析

• 文档变成半结构化

•  Markdown 表示形式（文本 + 表格）

2.使用 Markdown 解析器提取

•   输出文本和表格块

3.使用 LLM 提取摘要

•   从每个表→链接到基础表块。

4.为文本和表格的图形编制索引块。

改进复杂性查询

我们想问一些问题，朴素的RAG会在哪里失败。

例子：

·总结题：“给我一个完整的<某上市公司>10K年度报告的摘要”

我们想问一些问题，朴素的RAG会在哪里失败。

例子：

·总结题：“给我一个完整的<某上市公司>10K年度报告的摘要”

·  比较问题：“比较候选者 A 和候选者 B 的开源贡献

我们想问一些问题，朴素的RAG会在哪里失败。

例子：

·总结题：“给我一个完整的<某上市公司>10K年度报告的摘要”

·  比较问题：“比较候选者 A 和候选者 B 的开源贡献”

·结构化分析 + 语义搜索：“告诉我们业绩最好的《拼车公司》的风险因素”

我们想问一些问题，朴素的RAG会在哪里失败。

例子：

·总结题：“给我一个完整的<某上市公司>10K年度报告的摘要”

·  比较问题：“比较候选者 A 和候选者 B 的开源贡献”

·结构化分析 + 语义搜索：“告诉我们业绩最好的《拼车公司》的风险因素”

·一般多部分问题：“告诉我文章A中的亲X论点，并告诉我文章B中的亲Y论点，根据我们的内部风格指南制作一个表格，然后根据这些事实得出自己的结论

路由

• 最简单的智能体推理形式。

• 给定用户查询和一组选项，输出要将查询路由到的选项子集.

• 除了当前查询之外，还要考虑对话历史记录作为 RAG 流水线的输入

• 如何利用RAG 流水线中的对话历史记录？

• 简明问题 ·浓缩问题 +上下文

• 将查询分解为可并行化的子查询。

• 每个子查询可以是针对任何一组 RAG 流水线执行。

工具使用

• 在普通的 RAG 中，您只需传递查询即可。

• 但是，如果您使用 LLM 来推断 APl 接口的所有参数呢？

• 关键能力：许多 QA 用例如自动检索、文本转 SQL 等

让我们把它们放在一起

所有这些都是智能体成分

· 让我们把它们放在一起，形成一个完整的代理系统

· 查询规划

· 记忆

· 工具使用

还让我们添加其他组件

• 反思

• 可控制性

• 可观察性

• 智能体推理循环

• 顺序：根据前面的步骤生成下一步（思维链提示）

• 基于 DAG 的规划（deterministic确定性）：生成步骤的确定性 DAG。如果步骤未达到所需状态，请重新计划。

• 基于树的规划（随机）：在每个步骤中对多个未来状态进行采样。运行蒙特卡洛树搜索（MCTS：Monte-Carlo Tree Search）以平衡探索与开发

ReAct：通过提示的思维链和工具使用。

• 函数调用循环：在循环中调用 LLM 函数调用 API，直到完成。

• ReAct +RAG 指南

• 函数调用 Anthropic Agent

智能体推理：基于 DAG 的规划

• LLM 编译器（Kim et al. 2023）：并行多功能计划+执行的智能体编译器。

• LLM 编译器智能体

• 结构化规划智能体

使用反馈来改进座席执行并减少错误

-人类反馈

-LLM反馈

使用少样本示例，而不是重新训练模型

可观测性：查看代理的完整跟踪

• 可观测性指南

控制：能够逐步指导智能体的中间步骤

• Lower-Level Agent API

可定制性：围绕任何一组工具定义您自己的代理逻辑。

• 自定义智能体指南

• 具有查询管道指南的自定义代理

多智能体：定义多智能体交互！

• 同步：定义智能体之间的显式流

• 异步：将每个智能体视为可以相互通信的微服务。

• 当前框架：Autogen、CrewAI

Jerry Liu PPT全文‍