论文地址

• 实体：业务相关性比较强的客观实例，通过实体 Properties (属性、关系)刻画个体画像，如用户、企业、商户等。例如下图中的 User 包含若干属性且与 Shop 相连

• 概念：实体从具体到一般的抽象，表述的是一组实体集合、一种分类体系。相对静态、具有较强复用性，如人群标签、领域标准类型等。例如下图中的 Concept.Prefer

• 事件：加入时间、空间、标的等约束的实体类型，如通过 NLP、CV 等抽取出来的行业事件、企业事件、诊疗事件等。例如下图中的 TransactionEvent 事件类型

KGFabric 主要分为几个主要的目录层级：

1. Namespace：业务数据管理的基本单位，用于实现不同领域图谱的数据隔离

2. RelationGroup：管理图谱数据分组，通常基于实体、关系或事件时间切片来分组

3. Base：管理周期性快照数据

4. Delta：管理流/批更新的增量数据

KGFabric 的版本管理依赖文件系统的 put-if-not-exists 语义，使用 VersionPointer 机制解决读写冲突。当一次导入任务成功后，KGFabric 自动创建新的版本文件，通过时间戳映射相应版本文件，可实现任意快照访问，current 文件总是记录最新数据版本。

• 概念词典：提供 ConceptName 和 ConceptID 之间的双向映射能力
• 语义属性：在 PGBlock 中，不再使用边表存储语义实体到概念的边，转而使用属性表存储 ConceptID 来记录实体与概念实例的链接，优化存储空间

• TripleIndex：用于表示概念到语义实体的边，因为这些边通常比较稠密，我们使用了 RoaringBitmap 来优化存储空间和计算性能。我们基于 TripleIndex 实现了概念的多维索引用于支持 AND/OR/NOT 等 bitwise 算子，且支持基于分桶的并发计算。

• 分区图加载：实现了分布式图谱数据加载，支持多种图切分方式，包括按照 VertexID 切分、按照存储 BlockSize 切分等。相较于 ODPS 或 Hive 省去了数据 shuffle 环节，大幅提升了读取性能

• Backend Cache：主要包含 meta cache 和 data cache。
• meta cache：RelationGroup 的 meta 缓存和 BlockIndex 缓存，为常驻任务优化

• data cache：包含两级缓存，常驻磁盘的全量缓存和内存中的 Block 缓存，为延迟敏感的任务优化

• 算子下推：支持 filter/aggregate/window 等图算子的下推。其中：
• filter 算子支持实体/关系/属性类型的下推，支持将算子下推到 GMT 的叶子结点上（即 RelationGroup 的读取）
• aggregate 支持 sum/max/min/count 等统计下推

• window 算子支持基于时间切片的事件和索引的 filter 算子的下推

• 零拷贝序列化/反序列化：实现了内存数据结构和磁盘数据结构的同构，降低了序列化和反序列化的开销。

在 pairwise path 实验中，随着分析任务跳数的增多，KGFabric 提供的 backend 可以大幅度提升图计算的扩展性。