大家知道，去年我写了一个个人知识图谱工具。来解决自己知识管理的一些问题。当时是加入时空元素的，不过由于个人经历问题，一直没有机会实现。

我当时对于时空的需求很简单，不涉及推理。

比如大语言模型，对于同一个模型，我们知道在不同时期都有不同的能力参数和特性。如果只维护一个实体， 我更倾向于维护最新的信息，对于老数据，信息可能被覆盖，或者被改成备注。

我可能还想看去年五月有哪些模型，六月七月有哪些模型。

对于其他数据也一样，像我最常用的知识图谱（记录我使用和推荐的技术，以及评分），我也想看一下这个技术什么时候出来的，去年流行不。这就是我对时间的理解。

空间也类似，主要对于不如中国流行什么、美国流行什么，哪些东西在哪个地区发生、生效等等。

上面主要说的是技术相关的知识图谱，因为我的需求比较简单，放到其他知识上也是类似的概念，比如历史知识图谱等等。

解决方案

我萌生的最原始的解决方案，就是对知识图谱节点绑定时间和空间坐标轴：

• • 说有属性（关系）都绑定上时间范围，默认结束时间是至今

• • 这样的话我就可以在UI里面进行空间的回放

• • 空间也类似，默认是全空间的，这个看到话只能选择一个或者多个地理空间来查看（分别查看）

最大的困难我觉得是维护数据的难度。

不过前面也说了，时间问题，这块儿功能搁置了。

最新研究

之前一直是闭门造车，今天上网搜了一下，关于知识图谱的时空性还真有不少人研究， 但是我看了下，都很专业，不适合我这种在地面的玩家玩儿，顺便总结一些知识点。

知识图谱

Knowledge Graph 最早谷歌提出的，我们国内也就引入翻译成知识图谱，有学者表示：翻译成知识图更为确切， 因为这里面没谱，没有谱的相关概念，比如波普、光谱、基因图谱。虽然知识图谱的实体、关系也有序列相关的内容， 但整体来说谱的概念不足。

TKG

时间知识图谱英文的叫法是：Temporal Knowledge Graph，简称 TKG。是一种用于表示和推理时间相关信息的知识图谱。

时间知识图谱讲知识图谱的三元组扩充为四元组（增加了时间这个属性），将实体、关系和时间信息整合在一起，形成一个动态的知识网络。

时间知识图谱也可以被视为动态、演化或随时间变化的图谱。

时间知识图谱具有以下特点：

• • 动态性：时间知识图谱可以随着时间的变化而不断更新，以反映最新的信息。

• • 复杂性：时间知识图谱可以表示各种复杂的时间关系，例如：因果关系、先后关系、并行关系等。

• • 可推理性：时间知识图谱可以支持基于时间的推理，例如：根据已知的时间信息推断新的知识。

TKGC

时间知识图谱补全（Temporal Knowledge Graph Complication）是指在已有的时间知识图谱中识别和补全缺失的信息。

TKGC 的任务可以分为以下两个子任务：

• • 关系预测：预测两个实体之间是否存在关系，以及该关系发生的时间。

• • 时间戳预测：预测关系发生的时间戳。

TKGC 是一个具有挑战性的研究课题，目前还没有一种方法能够完美地解决所有 TKGC 问题。单从我搜索的结果来看，这是一个 TKG 相关很热门的一个领域（论文数量很多）。

STKG

时空知识图谱（Spatial-temporal Knowledge Graph）是一种用于显式表示和推理时空知识的知识图谱。它将地理实体、关系及其时空属性整合到一个结构化和相互连接的网络中。

时空知识图谱如果偏重空间性质，那么就是等下要提到的地理知识图谱（GeoKG）。

时空知识图谱的关键特征:

• • 空间感知: 时空知识图谱包含空间信息，例如地理坐标、位置和边界，以表示实体的空间分布。

• • 时间感知: 时空知识图谱包含时间信息，例如时间戳、持续时间和时间间隔，以表示实体和事件的时间演变。

• • 知识表示: 时空知识图谱使用基于图谱的表示来建模实体、关系及其时空属性。这允许有效地存储、检索和推理时空知识。

GeoKG

地理知识图谱（GeoKG）是一种专门用于表示和推理地理信息的知识图谱。它将地理实体、它们的属性以及它们之间的关系整合到一个结构化和相互连接的网络中。

空间关系抽取

无论是STKG 还是 GeoKG ，空间关系的抽取都是其中一个重要的研究领域，和构建的必要过程。

前面提到TKGC(时间知识图谱补全)是一个热门领域，相应的，针对空间关系的抽取、补全，当前的研究就比较少。

论文

好了，下面列一些论文，大家有兴趣的可以看看。

《时间知识图谱预测的历史链推理》 2024

https://arxiv.org/abs/2402.14382^[1]

这篇论文提出了一种名为Chain-of-History (CoH) 的推理方法，用于时态知识图谱（Temporal Knowledge Graph, TKG）预测。CoH方法旨在解决现有基于大型语言模型（LLM）的TKG预测模型的局限性，包括对高阶历史信息的忽视、 在大量历史信息下的推理性能下降，以及仅依赖LLM的时序推理能力有限等问题。

• • CoH将历史信息转换为文本格式，以适应LLM的理解。

• • 采用分步推理，首先让LLM基于一阶历史信息推断出重要的历史事件，然后基于这些推断出的历史链进一步推理可能的答案。

• • CoH考虑了历史信息的时序性，通过引入时间向量来增强模型的时序推理能力。

《面向插值和外推的统一时间知识图推理模型》 2024

https://arxiv.org/abs/2405.18106^[2]

论文提出了一个名为Temporal PAth-based Reasoning (TPAR) 的统一时间知识图谱推理模型， 旨在同时处理插值（interpolation）和外推（extrapolation）推理。TPAR模型采用了神经驱动的符号推理方式，不仅对时间数据中的不确定性和噪声具有鲁棒性， 而且具有良好的可解释性。通过一系列实验，论文展示了TPAR在链接预测任务上超越了现有最佳方法（SOTA）， 并且在插值和外推设置中都表现出色。

《SiMFy：一种简单而有效的时间知识图谱推理方法》 2023

https://aclanthology.org/2023.findings-emnlp.249/^[3]

论文介绍了一种名为SiMFy的简单而有效的时间知识图谱（Temporal Knowledge Graph, TKG）推理方法。SiMFy是一种简单但有效的方法，它使用多层感知器（Multilayer Perceptron, MLP）来模拟事件的结构依赖性，并在推理过程中采用固定频率策略来整合历史频率信息。

优点：

• • 快速的收敛速度和更好的泛化能力；

• • 在训练过程中显著减少的时间消耗；

• • 更好地捕获知识图谱中事件的结构依赖性

《历史重演：克服灾难性遗忘，完成以事件为中心的时间知识图谱》 2023^[4]

https://arxiv.org/abs/2305.18675^[5]

论文主要研究了时间知识图谱（Temporal Knowledge Graph, TKG）补全问题， 特别是在现实世界中TKG数据随时间动态变化的情况下， 如何克服模型在增量学习过程中的灾难性遗忘问题。

前面我们提到，TKG补全模型通常需要在训练期间访问整个图，但在现实世界中，TKG数据是随着事件逐步展开而增量接收的， 导致数据分布随时间动态变化。

现有方法通过微调或重新训练模型来适应新的TKG数据，但这可能导致忘记之前学到的模式或计算负担沉重。于是论文提出了一种通用的持续训练框架，适用于任何TKG补全方法，利用时间正则化和基于聚类的经验重放来减轻灾难性遗忘。

知识点：

• • 基于聚类的经验重放方法

• • EWC（Elastic Weight Consolidation）正则化方法

• • 基于时间的EWC损失函数

《学习联合结构和时间情境化知识嵌入以完成时间知识图谱》

https://aclanthology.org/2023.findings-acl.28.pdf^[6]

作者们提出了一种新的方法，名为SToKE（Structural and Temporal Contextualized Knowledge Embeddings）， 用于时间知识图谱补全（TKGC）任务。TKGC的目标是预测不完整时间知识图谱（TKG）中缺失的链接。

• • 提出SToKE模型，该模型利用预训练语言模型（Pre-trained Language Model, PLM）来学习结合结构和时间上下文的知识嵌入。

• • 为了使BERT类PLM能够处理特定查询的子图，提出了事件演化树（Event Evolution Tree, EET），将结构和时间上下文转换为结构化事件序列。

• • 引入了新颖的时间嵌入和结构矩阵，以学习EET中事实的时间信息和结构依赖性。

• • 通过掩盖查询中的缺失实体，将TKGC任务表述为掩码预测问题，并通过微调预训练的BERT模型来解决。

• • 在三个广泛使用的数据集上进行了实验，结果表明SToKE模型优于现有方法。

《学习时间知识图谱推理的潜在关系》 2023

https://aclanthology.org/2023.acl-long.705.pdf^[7]

论文提出了一种新的方法，名为L2TKG（Learning Latent Relations for Temporal Knowledge Graph）， 用于时间知识图谱（Temporal Knowledge Graph, TKG）推理任务。

论文强调了在TKG推理中捕获关键缺失关联的必要性。并且引入了图结构学习到TKG推理中，提出了一种新颖有效的潜在关联学习方法，以减轻TKG推理中缺失关联的问题。

• • 作者们使用结构编码器（Structural Encoder, SE）为每个时间戳的实体获取表示。

• • 设计了潜在关联学习（Latent Relations Learning, LRL）模块来挖掘和利用时间和时间内的潜在关联。

• • 从SE和LRL的输出中提取时间表示，用于实体预测。

• • 在ICEWS14、ICEWS05-15、ICEWS18和GDELT四个数据集上进行了实验评估。

局限：

• • 局限性在于LRL模块中k值的选择需要人工参与，未来的工作将探索自动优化k值，以增强模型获取潜在关联的能力。

《逻辑和常识引导的时间知识图谱完成》 2022

https://arxiv.org/abs/2211.16865^[8]

本文提出了一种新颖且有效的逻辑和常识引导的嵌入模型LCGE，用于解决时间知识图谱补全（TKGC）任务。

模型旨在同时学习事件的时间敏感表示（包括时效性和因果性）和基于常识的时间独立表示。通过设计一种时间规则学习算法，LCGE能够构建规则引导的谓词嵌入正则化策略，以学习事件之间的因果关系。此外，模型还能够利用辅助的常识知识准确评估事件的合理性。实验结果表明，与现有的基线方法相比， LCGE在三个基准数据集上的表现有显著提升。更有趣的是，该模型能够提供预测结果的可解释性，这是通过因果推理和时间规则实现的。

• • 提出LCGE模型，该模型联合学习事件的时间敏感表示（包括时效性和因果性）以及从常识角度的时间独立表示。

• • 设计时态规则学习算法，用于构建规则引导的谓词嵌入正则化策略，学习事件之间的因果关系。

• • 利用辅助常识知识，准确评估事件的合理性。

《通过自动编码器结构对时间知识图谱推理的前兆进行建模》2022

https://www.ijcai.org/proceedings/2022/284^[9]

论文提出了一种新颖的自编码器架构，用于时间知识图谱（Temporal Knowledge Graph, TKG）推理任务，特别是针对未来事件的预测。

• • 引入了“事实前体”（fact precursors）的概念，用以揭示事件背后的演化模式。这些前体是与查询相关的历史事实，具有连续或不连续的时间戳。

• • 提出了一种名为rGalT的新型自编码器结构，用于处理TKG的外推推理。与传统的自回归方法相比，rGalT能够更充分地捕获事实前体之间的交互。

• • 在四个广泛使用的基准数据集上的实验结果表明，该模型超越了其他最先进的方法，并且前体识别为预测结果提供了支持性证据。

技术实现：

• • rGalT模型通过引入一种关系感知图注意力层（relation-aware graph attention layer, RGAL），来计算与查询相关的实体和关系因素的注意力分数。

• • 使用多头自注意力机制（multi-head self-attention）和编码器-解码器注意力机制（encoder-decoder attention）来识别与给定查询高度相关的多个事实片段，即事实前体。

• • 通过并行解码相关的事实前体信息，来推断未来缺失的事实，并生成图结构。

《学习采样和聚合：基于时间知识图谱的少样本推理》

https://arxiv.org/abs/2210.08654^[10]

论文探讨了一个现实但尚未充分研究的问题，即少样本时间知识图谱推理（few-shot temporal knowledge graph reasoning）， 旨在基于在不断演化的图上对新出现的实体进行极其有限的观察来预测未来的事实。

• • 提出了一个新颖的框架Meta Temporal Knowledge Graph Reasoning（MetaTKGR），用于解决新实体的少样本时间知识图谱推理问题。

• • MetaTKGR 通过时间监督信号动态调整对新实体的邻居采样和聚合策略，以实现即时反馈。

• • 提供了理论分析并提出了时间适应正则化器，以稳定随时间推移的元时间推理。

实现方法：

• • MetaTKGR框架包含一个时间编码器（Temporal Encoder），用于学习新实体的时间感知表示，通过采样和聚合来自TKG邻居的信息。

• • 采用元时间推理（Meta Temporal Reasoning），通过双层优化（内层优化和外层优化）学习最优的采样和聚合参数。

• • 使用PAC-Bayes方法来分析时间适应界限，作为适应正则化器以提供稳定性并提高随时间推移的泛化能力。

在YAGO、WIKI和ICEWS18三个数据集上进行了实验评估，MetaTKGR在所有数据集上的性能均优于基线方法。

《带有时间知识图谱补全提示的预训练语言模型》 2023

论文来自来自武汉大学计算机科学学院。

https://arxiv.org/abs/2305.07912^[11] https://github.com/JaySaligia/PPT^[12]

本文提出了一种新颖的时间知识图谱补全（TKGC）模型，名为PPT（Pre-trained Language Model with Prompts for TKGC）。

模型将一系列采样的四元组转换为预训练语言模型的输入，并使用时间戳之间的间隔作为提示（prompts），以生成具有隐含语义信息的连贯句子。通过掩码策略，将TKGC任务转换为掩码标记预测任务，充分利用预训练语言模型中的语义信息。

方法：

• • PPT模型使用预训练语言模型和提示来解决TKGC任务。

• • 设计针对实体、关系和时间戳的提示，将四元组转换为PLM输入，并使用时间间隔提示来更好地提取时间信息。

• • 构建图的表示，通过采样和转换时间特殊化图（TSG）和时间间隔图（TIG）来进行训练。

《TeAST：通过阿基米德螺旋时间轴嵌入时间知识图谱》

https://github.com/IMU-MachineLearningSXD/TeAST^[13] https://aclanthology.org/2023.acl-long.862.pdf^[14]

论文介绍了一种新的时态知识图谱嵌入（Temporal Knowledge Graph Embedding, TKGE）模型，称为TeAST， 它通过阿基米德螺旋时间线（Archimedean Spiral Timeline）对知识图谱中的实体和关系进行编码。TeAST模型的核心创新是将关系映射到相应的阿基米德螺旋时间线上，而不是将时间信息融合到实体中， 这样可以更好地保持实体信息的稳定性，同时允许关系随时间演化。此外，TeAST引入了一种新颖的时间螺旋正则化器，以确保螺旋时间线的有序性，并通过数学证明展示了其编码各种关系模式的能力。

《使用框嵌入完成时间知识图谱》 2021

https://arxiv.org/abs/2109.08970^[15]

论文介绍了一种名为BoxTE的新型时态知识图谱补全（Temporal Knowledge Graph Completion, TKGC）模型。BoxTE基于静态知识图谱嵌入模型BoxE构建，并引入了时间嵌入， 以灵活地表示时间信息。与现有的TKGC方法相比，BoxTE不仅能够学习实体和关系， 还能学习时间戳的潜在表示，进而预测在不同时间步骤缺失的事实。

《利用历史对比学习进行时间知识图谱推理》 2022

https://github.com/xyjigsaw/CENET^[16] https://arxiv.org/abs/2211.10904^[17]

论文提出了一种新的时态知识图谱推理模型，名为对比事件网络（Contrastive Event Network，简称CENET）， 它基于历史对比学习的新框架进行事件预测。CENET旨在克服现有方法在推断与历史互动较少的实体相关的未来事件时面临的挑战。该模型不仅学习历史依赖性，还学习非历史依赖性，以区分最有潜力的实体，这些实体能够最好地匹配给定的查询。同时，它通过对比学习训练查询的表示，以调查当前时刻更多地依赖于历史事件还是非历史事件， 并通过训练一个二元分类器来识别搜索空间中的相关实体。

CENET通过两个阶段的历史对比学习来训练模型。第一阶段是学习对比表示， 第二阶段是训练二元分类器。模型使用共享权重的编码器来学习查询的对比表示， 并使用sigmoid激活函数和二元交叉熵损失来训练分类器。

《TiRGN：具有局部-全局历史模式的时间引导循环图网络，用于时间知识图推理》 2022

https://github.com/Liyyy2122/TiRGN^[18] https://www.ijcai.org/proceedings/2022/299^[19]

论文提出了TiRGN模型，这是一个用于时态知识图谱推理的新颖表示学习模型。TiRGN结合了局部和全局历史信息，以捕获历史事件的顺序、重复和周期性模式， 并通过时间引导的周期性解码器进行最终推理。实验结果表明， TiRGN在多个基准数据集上超越了现有的TKG推理方法。

《TLogic：时间知识图谱上可解释链接预测的时间逻辑规则》 2021

https://arxiv.org/abs/2112.08025^[20]

论文介绍了一种名为TLogic的新型框架， 它是一个用于时态知识图谱（Temporal Knowledge Graphs, tKGs）的可解释链接预测方法。TLogic基于从tKGs中提取的时态逻辑规则，通过时态随机游走来实现。这种方法不仅提供了高预测性能， 而且还能够生成符合时间一致性的人类可读解释。

作者在三个基准数据集（ICEWS14、ICEWS18和ICEWS0515）上对TLogic进行了实验评估。

《基于 Tucker 分解的时间知识图谱补全》 2020

https://arxiv.org/abs/2011.07751^[21]

这篇论文提出了一种基于Tucker分解的时态知识图谱补全方法，称为TuckERT。该方法旨在通过考虑时间信息来丰富现有的知识图谱，并提高链接预测的准确性。

TuckERT模型，该模型通过Tucker分解来处理时态知识图谱补全问题。模型考虑了时间信息与三元组（主体，谓词，客体）的关系， 并通过关联时间信息来隐式地表达原始的四元组事实。