图（graph）是一种基本的数据模型，用于表示社会和自然界中各种实体及其复杂关系，例如社交网络、交通网络、金融网络和生物医学系统。大型语言模型（LLMs）展示了强大的泛化能力，在应对泛化图任务的挑战方面具有优势，它们通过消除训练图学习模型的需要和减少手动注释的成本，提供了显著的优势。

对现有的LLM在图数据上的学习研究进行了全面的综述，总结了基于LLM的生成式图分析（LLM-GGA：LLM-based generative graph analytics ）的三个主要组成部分：

图1: LLM-GGA领域的说明：基于LLM的图查询处理（LLM-GQP），它需要将图分析技术和LLM提示融合以进行查询处理；基于LLM的图推理与学习（LLM-GIL），专注于图上的学习和推理；以及采用图-LLM框架来解决非图任务的基于图的LLM应用，例如推荐系统。

• 图结构理解（Graph Structure Understanding）：LLMs是否能够理解和解决图算法问题，包括图结构的识别和图挖掘任务。
• 图学习（Graph Learning）：LLMs在结合图结构和属性进行学习方面的潜力，如节点分类、图分类和生成图查询语言（GQL）。
• 图形式推理（Graph-formed Reasoning）：LLMs如何使用图结构来模拟人类推理过程，解决更复杂的算法、逻辑和数学问题。
• 图表示（Graph Representation）：如何通过LLMs增强图的表示能力，特别是文本属性图（Text Attributed Graphs, TAGs）。
• 知识图谱增强检索（KG-based Augmented Retrieval）：LLMs与知识图谱（Knowledge Graphs, KGs）的关系，以及如何通过KGs增强LLMs在处理事实知识方面的能力。
• 基于图+LLM的应用（Graph-LLM-based Applications）：图-LLM框架如何被用于解决非图任务，例如推荐系统、对话理解和响应预测。

图 2：21个不同图结构理解任务

• 提示方法（Prompting method）：通过精心设计的提示引导LLMs更好地理解图结构，并理解图任务的目标，从而提高图相关任务的性能。
• 监督微调（Supervised fine-tuning, SFT）：通过在特定图数据集上微调LLMs来增强其结构理解能力。

• 手动提示：研究人员直接编写的提示，用于引导LLMs。
• 自提示：LLMs通过不断更新初始提示来帮助自己更好地理解任务。
• API调用提示：LLMs被训练为能够调用外部工具来解决复杂的图任务。

图4：图结构理解任务的提示，其中 [graph] 是数据的输入

图5：使用 GPT 3.5 的二分图匹配任务示例 - 图结构理解任务

基于LLM的监督微调，如图6所示。GraphLLM致力于解决LLMs在图推理方面的障碍，并引入了一个混合模型，该模型继承了图学习模型和LLMs的能力，使LLMs能够利用图学习模型的优越表达能力，熟练地解释和推理图数据。

图6：在图结构理解任务中的监督微调（SFT）方法。上图展示了前缀调整：在前缀调整中结合图结构和文本信息作为前缀，并带有指令（如GraphLLM）输入到LLM中。也可以使用指令调整。

专注于图学习任务的LLM-GIL研究可以分为三个主要类别：LLMs作为增强器、LLMs作为预测器，以及图提示。

• LLMs作为增强器（LLMs act as enhancers）：利用LLMs对文本的高级语义理解、强大的推理能力，通过编码图信息到嵌入、生成图伪标签和提供外部知识或解释来增强GNNs的性能。

• LLMs作为预测器：当LLMs作为预测器时，它们通常直接被用作独立的预测器。将LLMs作为预测器集成的关键方面在于精心设计一个包含文本属性和图结构的提示，使LLMs能够有效地理解图结构并提高预测准确性。

• 图提示：在图学习任务中使用提示的方法，这些提示旨在统一预训练和下游任务，并通过提示工程来优化不同下游任务的性能。

图形式推理的方法，分为两种：think on the graph 和 verify on the graph：

• think on the graph方法将图作为LLM推理过程中的中间步骤，通过添加LLM的响应到图上，构建一个有向无环图(DAG)，表示LLM的推理过程。这样，LLM的推理过程可以用图的形式表示。

• verify on the graph方法通过验证LLM输出的中间或最终结果是否与图中的信息一致，从而提高LLM的推理性能。具体地，将LLM的输出作为图中的节点，通过验证图中的不同路径的输出是否一致，判断LLM的推理结果是否正确。

LLMs（大型语言模型）强大的文本表示能力使文本嵌入能够捕捉到更深层次的语义细微差别，这也能够增强图形表示，特别是对于文本属性图（Text Attributed Graphs，简称TAGs）。在处理结构化文本数据时，关键挑战是将图形结构整合到LLMs生成的文本嵌入中，以增强其信息量或使LLMs能够在文本空间内处理具有图形结构的文本嵌入。有效地将图形描述纳入提示中对LLMs至关重要，特别是在像ChatGPT这样的封闭源模型中，嵌入是不可见的。图形在提示中如何编码影响着模型对图形的理解。总结了三种类型的图形表示：

1. 图嵌入：图嵌入专注于将图转换为特定的有序序列，然后将该序列输入到大型语言模型（LLM）中，利用它们出色的语义捕捉能力来学习序列的嵌入，并由此推导出图的嵌入。

2. 图增强文本嵌入：图增强文本嵌入强调将结构嵌入纳入文本嵌入中。有两种类型的嵌入：结构嵌入，它捕捉局部结构；文本嵌入，它捕捉语义含义。如何结合这两种类型的嵌入是图增强文本嵌入的核心。

3. 图编码提示：图编码提示集中于如何描述一个图，以便大型语言模型（LLM）能够更有效地理解它，然后将其输入到LLM中。例如，在常规图中，可以通过假设节点之间的关系是朋友或同事，将图置于故事背景中

   
   

图表示。展示了三种类型的图表示：图嵌入、图增强文本嵌入和图编码提示。图嵌入方法使用特定的有序序列来表示图。图增强文本嵌入强调将结构嵌入整合到文本嵌入中。图编码提示专注于如何在提示中描述一个图。

五、知识图谱增强检索

LLM在处理事实知识时存在虚构（hallucination）、领域知识不足、知识遗忘和知识准确获取方面的局限性，而KG提供了结构化的知识，可以提供更可靠的信息来源。

解决LLM局限性的方案：包括利用KG检测LLM的虚构、增强LLM的领域知识、整合KG到LLM以增强知识提取能力，以及利用KG增强LLM的推理能力。

其他KG+LLM工作：介绍了利用KG和LLM解决知识图谱相关任务，如知识图谱嵌入、补全、构建、图到文本生成和问答等。

基于知识图谱的增强检索。知识图谱可以增强大型语言模型（LLMs），以提供更全面的答案。

六、基于图+LLM的应用

图-LLM应用是指将图与大语言模型结合的框架，不仅用于图相关任务，也可用于各种其他领域，例如对话理解和推荐系统。常见框架包括将GNN与LLM相结合、将图数据与LLM相结合，以及探索利用图结构和语言模型的优势来解决不同任务的创新方法。例如：对话理解、响应预测、多域对话状态跟踪、推荐系统、图神经架构搜索等领域的应用。

七、评估方法与基准

六个细分研究方向的数据集

新数据集与评价指标

A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applicationshttps://arxiv.org/pdf/2404.14809

推荐阅读

• • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO

• • 2024：ToB、Agent、多模态

• • TA们的RAG真正投产了吗？（上）

• • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。