今天是2024年7月25日，星期四，北京，天气雨。

本文来看2个工作，一个是多模态实体链接进展：UniMEL基于统一框架，一个是知识图谱和大模型用于生物医学研究HeCiX，两个都是知识图谱的范畴。

供大家一起参考并思考。

一、知识图谱和大模型用于生物医学研究HeCiX

关于知识图谱与大模型进展。集成知识图谱和大模型用于生物医学研究，《HeCiX: Integrating Knowledge Graphs and Large Language Models for Biomedical Research》(https://arxiv.org/pdf/2407.14030)

先看主要结论：

• 问题识别：临床试验的高失败率（约90%）指出了在目标验证和药物优化方面存在的问题。
• HeCiX-KG的创建：提出了一个新的知识图谱，HeCiX-KG，结合了ClinicalTrials.gov的临床试验数据和Hetionet的疾病及基因领域知识。
• 知识图谱的构建：HeCiX-KG专注于六种特定疾病，整合了来自两个数据源的信息，构建了一个包含6,509个节点和14,377条边的图谱。
• 系统整合：通过使用LangChain，HeCiX系统将HeCiX-KG与GPT-4大型语言模型集成，允许用户通过自然语言查询与知识图谱进行交互。
• 查询处理流程：用户提交自然语言查询，系统将其转换为Cypher查询语言（CQL）查询，检索知识图谱中的相关信息，并以人类可读的格式显示结果。
• 实验与评估：使用RAGAS框架对HeCiX的性能进行了评估，包括忠实度、答案相关性、上下文精确度和上下文召回率等指标。
• 结果：HeCiX在临床相关问题的回答任务中表现出色，提供了更广泛和深入的数据范围。
• 比较分析：与其他大型语言模型相比，HeCiX在处理与临床试验相关的查询方面表现出优势。
• 局限性：尽管有积极的结果，但论文也指出了模型性能的不确定性和需要在更广泛的疾病范围内进行测试以确保系统的稳健性。

再看知识图谱构建：

更具体的，我们可以看看知识图谱的构建过程，HeCiX-KG是通过从Hetionet和ClinicalTrials.gov提取和整合六种特定疾病的相关数据来构建的。所得知识图谱有6,509个节点和14,377条边。构建过程包括数据提取、模式设计、实体-关系映射和图谱填充。

首先，HeCiX-KG是由两个主要的数据源构建：Hetionet和ClinicalTrials.gov。将它们的数据整合到单一的知识源中，并包括与六种特定疾病相关的数据，即白癜风、特应性皮炎、斑秃、黑色素瘤、癫痫和甲状腺功能减退症。

Hetionet是一个高度互联的知识库，它结合了来自29个不同数据库的数据。它包括总共47,031个节点，涵盖11种类型：疾病、化合物、基因、症状、副作用、生物过程、分子功能、解剖学、细胞成分、途径和药理学类别。为了构建HeCiX-KG，提取了Hetionet的一个子图，包含与六种选定疾病相关的数据。这个子图总共包含1071个节点和1125个关系。

ClinicalTrials.gov提供了大量关于各种疾病和状况的临床试验和研究的信息。虽然ClinicalTrials.gov的记录总数超过500,000，该研究集中在六种选定疾病的1200条记录的子集，包含5,454个节点和11,466条边。这个子集中的节点被分类为9种类型：疾病、主要研究者（PI）、研究、条件、阶段、地点、干预措施、年龄和性别，关系类型包括10种类。

在Schema方面，设计如下：

基于这个schem，最终得到了一个包含6,509个节点和14,377条边的知识图谱。

最后看使用LangChain将其与GPT-4集成：

为了提高HeCiX-KG的可用性，该工作开发了HeCiX系统，使用LangChain将知识图谱与GPT-4集成。具体来说，使用LangChain系统中的GraphCypherQAChain组件来进行集成。

如图2所示，整个查询处理流程如下：

1. 用户查询输入：用户向LangChain提交自然语言提示。
2. 查询和提示处理：用户的问题与一组提示模板结合，然后发送给GPT-4。
3. Cypher查询生成：GPT-4根据用户的输入生成Cypher查询，然后将其发送回LangChain。
4. 数据库查询：LangChain在HeCiX-KG上执行生成的Cypher查询。
5. 原始结果检索：HeCiX-KG将原始查询结果（即“完整上下文”）返回给LangChain。
6. 上下文转发：LangChain将完整上下文转发给GPT-4进行解释，并转换为人类可读的格式。
7. 人类可读响应生成：GPT-4根据发送给它的完整上下文生成人类可读的响应，然后将其发送给LangChain。
8. 用户响应：最后，LangChain将人类可读的响应返回给用户，从而为用户提供他们查询的答案。

二、多模态实体链接进展：UniMEL基于统一框架

多模态实体链接的目标是将具有多模态上下文的提及映射到知识库中的相应实体。最近可看看一些思路，如：UniMEL基于统一框架的多模态实体链接方法， 《UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models》：https://arxiv.org/pdf/2407.16160，代码：https://anonymous.4open.science/r/UniMEL。

二现有的方法过于复杂，忽略了视觉语义信息，并且难以扩展。大模型（尤其是多模态大模型，MLLMs）的出现为解决这一挑战提供了新的视角。

在任务目标设定上，每个实体由一个三元组表示，包括它的实体名称、实体描述和实体图像。每个提及由一个三元组组成，包括提及名称、文本上下文和视觉上下文。

一句话说就是，UniMEL框架首先通过MLLMs增强提及的描述，然后通过LLMs增强实体的描述，接着利用检索增强模块缩小候选实体的范围，最后通过多项选择选择模块确定最终的实体链接。

这个过程涉及到将文本和视觉信息的整合，并通过LLMs的强大能力来提炼和选择最准确的信息，从而实现精确的多模态实体链接。

从构成上看，UniMEL框架包括四个主要模块：基于MLLM的提及增强、基于LLM的实体增强、检索增强和多项选择选择。

1、MLLMs-based Mention Augmentation (a)

由于多模态大型语言模型（MLLMs）强大的视觉理解能力和遵循指令的能力，可以利用它们来增强附带图像的提及的描述信息，将包含特定提及的图像输入到MLLM中，并为其提供提及名称和文本上下文。

为了让MLLM生成格式良好的提及描述，利用其上下文学习能力，并构建了一个设计好的提及描述作为示例，指定MLLM的输出格式。然后，MLLM利用视觉和文本信息为提及生成描述，从而增强其信息。

2、LLMs-based Entity Augmentation (b)：

这个模块使用多模态大型语言模型（MLLMs）来增强提及（mentions）的描述信息。为了解决实体描述中长度过长和信息冗余的问题，利用LLMs有效地对描述进行摘要。LLMs已经在包含丰富世界知识的大量语料库上进行了预训练，并且许多研究已经证明了它们生成长文本高质量摘要的能力。

首先，需要为LLM提供实体名称及其原始描述。

其次，设计了特定的指令，强调所生成摘要的简洁性和内容要求。

然后，按照给定的指令，LLM将生成实体描述的新的、简洁的、高质量且信息丰富的摘要，从而增强实体信息。

3、Retrieval Augmentation (c):

检索增强模块使用嵌入模型来检索和重排候选实体集。通过将提及名称和文本上下文与增强后的实体描述相结合，生成一个向量化的表示，用于在知识库中检索最相关的候选实体。

具体的，在增强了实体和提及的信息之后，第一步是将实体名称和新描述连接起来。随后，使用预训练的嵌入模型获取嵌入表示。

通过将上述两个步骤应用于知识库E中的所有实体，生成了一个向量化的知识库。然后，对于提及，将其名称、文本上下文和描述连接起来，并同样地，使用预训练的嵌入模型获取嵌入表示。

通过计算提及嵌入与向量化知识库中每个实体嵌入之间的余弦相似度，检索出相似度得分最高的个实体。这些k个实体将为下一个模块服务，该模块使用LLM进行实体选择。

4、Multi-choice Selection (d):

多项选择选择模块使用微调过的LLMs来从检索到的候选实体中选择最终的参照实体。该模块通过设计好的提示模板，将提及和检索到的候选实体作为输入提供给LLMs，然后LLMs根据这些信息选择最合适的实体。

最后看一个具体的例子：

总结

本文主要看了2个事情，一个是多模态实体链接进展：UniMEL基于统一框架，一个是知识图谱和大模型用于生物医学研究HeCiX，两个都是知识图谱的范畴。