AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Palantir 大模型AIP产品应用于客户服务RAG Copilot的案例
发布日期:2024-10-03 19:56:38 浏览次数: 1683 来源:知识图谱科技


摘要:

一名医疗器械公司员工在Palantir AIP平台上尝试复现其在Azure上使用GPT和RAG构建的客户服务引擎CoPilot,寻求改进其RAG模型在准确性和效率方面的策略,并得到了社区成员关于改进分块、检索和利用本体的建议。 

Key Takeaways:

* 一位用户尝试在Palantir AIP平台上复制其在Azure上基于RAG的CoPilot,用于客户服务,但遇到了挑战。 

* 社区成员建议使用Palantir提供的“Build with AIP”中的语义搜索示例作为起点。 

* 改进RAG的关键在于改进分块策略(例如,基于段落和字体大小)和检索方法(例如,结合语义搜索、本体搜索和关键词搜索)。,

* 可以利用Palantir Foundry建模套件来改进分块,例如使用共指消解模型。 

* 本体可以用来过滤文档,提高检索效率和准确性。 

* AIP Logic可以用来创建无代码函数,以增强本体查询和检索。 

* 用户在将新生成的文本块保存到Ontology时遇到了主键问题。 

一,医疗设备公司用户提问

我使用与Azure助手相同的内容集(大约7000页)构建了一个内容管道,但系统返回的块太多,响应无效或者失败,因为块的数量太大,无法进行总结。然后我将其简化为一份文档,我们使用目录来尝试更准确地索引内容,这改善了一些,但仍然远不如基于RAG的助手。

Sam

一,Palantir技术支持George回复

‍‍‍‍‍‍‍


Chunking

Retrieval

那么在AIP中如何做呢?

这个问题的答案通常是 AIP 逻辑。逻辑是我们针对本体编写无代码函数的工具。这些函数可以是纯粹的确定性函数,例如过滤器和并集,也可以利用 AI 能力,如使用大型语言模型进行语义搜索。学习 AIP 逻辑的最佳方法是使用更多的 AIP 构建参考示例。我建议从《Building your AIP intuition: AI assisted cricket》和《Leveraging feedback loops in AIP Logic》开始。

二,Palantir技术支持George回复

  • Chunking

  • Indexing

  • Retrieval

分块  

已经由George涵盖过。

嵌入  

一旦你对文档进行了分块,就将每个块中的文本转换为数学表示(向量)。你可以使用管道构建器表达式:文本到嵌入来实现这一点。

索引

将您的块转换为嵌入后,在本体中创建一个新的对象类型。

这里是[客户服务]文档对象类型可能的示例:

  • content: 文本块的内容

  • content_embedding: 文本的嵌入,定义为带有以下嵌入模型的向量类型:

    • 语言建模服务模型

    • OpenAI的text-embedding-ada-002

检索

对文档进行索引使其准备好进行高效的检索。为了增强生成带有相关上下文的电子邮件,请修改“Generate Response for Customer Service Alert”AIP逻辑文件:

检索模块是增强响应生成中最关键的操作。正如乔治提到的,这个模块负责根据客户的查询提取最相关的文档片段。默认情况下,我设置它返回前50个相关片段,但您可以根据用于生成答案的语言模型的能力调整此数字。

一旦您将变量“最相关文档”填充了这些相关片段,您可以将其作为输入传递给“回复客户”模块。此整合确保生成的响应丰富了精确且符合上下文的信息,从而提高整体响应的准确性。

增强检索与本体论的结合

提供的示例是语义搜索的基本版本,其中使用嵌入来查找最相关的文本段落。然而,通过利用本体论,可以显著提高检索到的文档的性能和相关性,如乔治建议的那样。这可以涉及在AIP Logic中设置确定性过滤器,以配合上述的AI语义搜索能力。

例如,如果您有与产品相关的本体对象,则可以将与本体中每个产品相关的文档子集连接起来。利用这种本体化的文档结构在您的Logic功能中查找信息时,将使检索变得更加高效和准确。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询