摘要:

一名医疗器械公司员工在Palantir AIP平台上尝试复现其在Azure上使用GPT和RAG构建的客户服务引擎CoPilot，寻求改进其RAG模型在准确性和效率方面的策略，并得到了社区成员关于改进分块、检索和利用本体的建议。 

Key Takeaways:

* 一位用户尝试在Palantir AIP平台上复制其在Azure上基于RAG的CoPilot，用于客户服务，但遇到了挑战。 

* 社区成员建议使用Palantir提供的“Build with AIP”中的语义搜索示例作为起点。 

* 改进RAG的关键在于改进分块策略（例如，基于段落和字体大小）和检索方法（例如，结合语义搜索、本体搜索和关键词搜索）。,

* 可以利用Palantir Foundry建模套件来改进分块，例如使用共指消解模型。 

* 本体可以用来过滤文档，提高检索效率和准确性。 

* AIP Logic可以用来创建无代码函数，以增强本体查询和检索。 

* 用户在将新生成的文本块保存到Ontology时遇到了主键问题。 

一，医疗设备公司用户提问

我使用与Azure助手相同的内容集（大约7000页）构建了一个内容管道，但系统返回的块太多，响应无效或者失败，因为块的数量太大，无法进行总结。然后我将其简化为一份文档，我们使用目录来尝试更准确地索引内容，这改善了一些，但仍然远不如基于RAG的助手。

Sam

一，Palantir技术支持George回复

‍‍‍‍‍‍‍‍

Chunking

Retrieval

那么在AIP中如何做呢?

这个问题的答案通常是 AIP 逻辑。逻辑是我们针对本体编写无代码函数的工具。这些函数可以是纯粹的确定性函数，例如过滤器和并集，也可以利用 AI 能力，如使用大型语言模型进行语义搜索。学习 AIP 逻辑的最佳方法是使用更多的 AIP 构建参考示例。我建议从《Building your AIP intuition: AI assisted cricket》和《Leveraging feedback loops in AIP Logic》开始。

二，Palantir技术支持George回复

• Chunking

• Indexing

• Retrieval

分块  

已经由George涵盖过。

嵌入  

一旦你对文档进行了分块，就将每个块中的文本转换为数学表示（向量）。你可以使用管道构建器表达式：文本到嵌入来实现这一点。

索引

将您的块转换为嵌入后，在本体中创建一个新的对象类型。

这里是[客户服务]文档对象类型可能的示例：

• content: 文本块的内容

• content_embedding: 文本的嵌入，定义为带有以下嵌入模型的向量类型：

• 语言建模服务模型

• OpenAI的text-embedding-ada-002

检索

对文档进行索引使其准备好进行高效的检索。为了增强生成带有相关上下文的电子邮件，请修改“Generate Response for Customer Service Alert”AIP逻辑文件：

检索模块是增强响应生成中最关键的操作。正如乔治提到的，这个模块负责根据客户的查询提取最相关的文档片段。默认情况下，我设置它返回前50个相关片段，但您可以根据用于生成答案的语言模型的能力调整此数字。

一旦您将变量“最相关文档”填充了这些相关片段，您可以将其作为输入传递给“回复客户”模块。此整合确保生成的响应丰富了精确且符合上下文的信息，从而提高整体响应的准确性。

增强检索与本体论的结合

提供的示例是语义搜索的基本版本，其中使用嵌入来查找最相关的文本段落。然而，通过利用本体论，可以显著提高检索到的文档的性能和相关性，如乔治建议的那样。这可以涉及在AIP Logic中设置确定性过滤器，以配合上述的AI语义搜索能力。

例如，如果您有与产品相关的本体对象，则可以将与本体中每个产品相关的文档子集连接起来。利用这种本体化的文档结构在您的Logic功能中查找信息时，将使检索变得更加高效和准确。