简介

企业知识的价值大部分存在于非结构化文档中，占据了至少80%的企业数据湖。需要整合这些数据并提取有意义的信息，同时保留来源信息以减少错误。在医疗行业中，患者记录通常以手写的临床笔记、出院信、医生之间的电子邮件和医学图像等多种格式存在。需要解决三个关键挑战：从不同格式中提取多模态数据、将模态特定的信息提取模型整合到一个统一的框架中、以有意义的方式表示数据语义并引用来源。

本研究提出使用知识图谱作为统一表示，动态整合从每个模态提取的实体，包括布局实体以维护对源的引用。Docs2KG系统可以处理电子邮件、网页、PDF文件和Excel文件等多种数据格式。生成的知识图谱允许基于文档结构和内容进行动态和自动更新，并可扩展以允许人机交互。Docs2KG通过深度学习计算机视觉和标记结构化文档解析相结合的双路径策略，实现了统一的文档处理。生成的知识图谱可用于许多实际应用，如减少过时知识的风险和实现基于知识的检索增强生成。

多模态统一知识图谱构建

完成数据处理后，Docs2KG将解析的信息统一为一个包含结构(层次和空间)和语义信息的多模态KG。多模态知识图谱的关系分为两种主要类型：模态内关系和模态间关系。

模态内关系构建：模态内关系包括标题层次和段落层次的结构关系，以及句子层次的语义关系。模态内关系可以表示为：

其中?表示多模态KG中的最小单位子图。?和?代表来自文本源的不同模态，包括文本(?)、段落(?)和句子(?)。符号(ℎ?，?，??)表示两个节点之间的构造方法，其中ℎ?(头实体)指向??(尾实体)。?表示关系，用结构或语义信息表示：

• 结构关系:` has-child `、` before `和` after `。

• 语义关系:' same time '， ' focus '， ' supported by '， ' explain '。

模态间关系构建：使用语义关系来表达不同模态之间的关系。这是因为模态内的层次关系和空间关系已经提供了明确的关系方向。模态间的关系可以表示为：

其中?表示最小单位子图。?表示句子，如表格标题。?表示表和图形。?是它们之间的语义关系:“explain”和“same-time”。

知识图谱查询

演示案例包括一个PDF文件和一个Excel文件。PDF文件包含了2011年至2021年香港人口规模和结构的信息，而Excel文件包含了2021年至2023年人口普查的记录，包括按年龄组和性别分类的中期人口数据。

通过使用Docs2KG工具，将PDF文件和Excel文件解析并整合成一个知识图谱。通过查询这个知识图谱，可以提取相关信息。通过可视化图表，可以观察到PDF文件的引言部分提到了2011年和2021年发生的几个事件。

基于语义和结构接近度的信息检索

RAG方法提出了将更相关的信息直接整合到提示中以增强大型语言模型性能的思路。在多模态知识图中，相关性指的是节点的接近程度，可以是语义或结构上的。通过语义相似性搜索，使用嵌入模型检索相关文本块、图表等，选择前k个语义相关节点作为锚点节点，检索n跳语义和结构相关节点，从而增强提示。