微信扫码
与创始人交个朋友
我要投稿
0.总体概要
针对知识图谱领域中数据模型不统一、查询语言多样、低效存储和查询的问题,新型知识图谱数据库管理系统(KGDB)通过基于关系模型的统一存储方案,统一RDF图和属性图数据模型,实现SPARQL和Cypher两种查询语言的互操作,优化了存储结构,提高了查询效率。如下图所示,KGDB的总体架构,包括用户输入层、系统处理层和用户界面层,清晰地展示了系统的工作流程和组件交互。
知识图谱作为人工智能的重要基础,目前主要有两种数据模型:RDF图和属性图。分别对应不同的查询语言SPARQL和Cypher。由于数据模型和查询语言的不统一,限制了知识图谱的广泛应用。下表给出了RDF图和属性图使用的主要符号及其含义:
具体而言,对于RDF图数据,如下图所示存储方案包括直接利用三元组特性、依据数据类型特征和语义信息进行存储的方法,但存在空间利用效率低和成熟度不足的问题。
RDF图示例
https://jos.org.cn/html/2021/3/6181.htm
对于属性图数据,如下图所示则有基于关系和文档的存储方案,但灵活度和存储效率有待提高。
属性图示例
https://jos.org.cn/html/2021/3/6181.htm
在查询处理方面,RDF图数据主要使用SPARQL语言,属性图数据则使用Cypher语言,但两种语言的互操作性不足。
2.实际问题分析
①数据模型不统一:知识图谱领域中存在多种数据模型,如RDF图和属性图,它们在结构和表示方式上有所不同,导致数据管理和查询处理变得复杂。
②查询语言多样性:不同的数据模型通常对应不同的查询语言,如RDF图使用SPARQL,属性图使用Cypher,这增加了用户的学习成本和系统的开发难度。
③存储效率和查询性能:随着知识图谱数据规模的增大和复杂性的提高,如何高效地存储和管理数据,以及如何快速地执行查询,成为实际应用中的挑战。
④无类型实体处理:在知识图谱中,可能会存在一些未指定类型的实体,这些实体的存储和查询处理需要特殊的策略。
3.解决方案-新型知识图谱数据库管理系统(KGDB)
①统一存储方案:
KGDB基于关系模型提出了统一的存储方案,通过将数据按类型聚类存储到对应的关系表中,支持RDF图和属性图的高效存储。该方案使用字典编码方法减少数据的存储空间,满足知识图谱数据存储和查询负载的需求。如下图所示:
②查询语言互操作:
KGDB实现了SPARQL和Cypher两种不同知识图谱查询语言的互操作,允许用户使用这两种语言操作同一个知识图谱。通过将两种语言的语义对齐到统一的关系代数表示,实现了查询语义的一致性。
③无类型实体存储优化:
针对无类型实体的存储问题,KGDB采用基于特征集的聚类方法,将无类型实体归入与其谓语组相似的数据类型中,从而解决了无类型实体数据的存储问题,提高了查询效率。
④实验验证:
在真实数据集和合成数据集上进行的实验表明,KGDB与现有的知识图谱数据库管理系统相比,不仅能够提供更加高效的存储管理,而且具有更高的查询效率。KGDB平均比gStore和Neo4j节省了30%的存储空间,在基本图模式查询上的查询速度普遍高于gStore和Neo4j,最快可提高2个数量级。
4.总结
KGDB遵循“统一存储”-“兼容语法”-“统一语义”的技术路线,从底层存储到查询表达,再到查询处理,提供了一套完整的解决方案。具体而言,KGDB提出了基于关系模型的统一存储方案,实现了SPARQL和Cypher两种查询语言的语义对齐,实现了无类型实体的存储优化,在存储效率和查询性能上均优于现有的知识图谱数据库管理系统,如gStore和Neo4j,为知识图谱的广泛应用提供了强有力的支持。
参考文献:
Liu BZ, Wang X, Liu PK, Li SZ, Zhang XW, Yang YJ. KGDB: Knowledge Graph Database System with Unified Model and Query Language[J]. Journal of Software, 2021, 32(3): 781-804.
Wang X, Zou L, Wang CK, Peng P, Feng ZY. Research on knowledge graph data management: A survey. Ruan Jian Xue Bao/Journal of Software, 2019,30(7):2139-2174
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-24
AutoFlow:基于图 RAG 的智能知识库构建之路
2024-11-23
DB-GPT V0.6.2 版本更新:牵手libro社区、GraphRAG图谱构建能力增强等
2024-11-22
技术动态 | 如何使用知识图谱改进RAG?
2024-11-22
RAG前沿之RAG–知识图谱构建框架Graphusion:兼看LongRAG双视角检索增强生成范式
2024-11-21
OpenSPG/KAG 新版发布:聚焦用户反馈,大幅优化用户体验!
2024-11-15
大语言模型与图结构的融合:推荐系统中的新兴范式
2024-11-15
利用LLM构建非结构化文本的知识图谱
2024-11-13
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
2024-07-17
2024-07-11
2024-07-13
2024-08-13
2024-07-08
2024-07-12
2024-07-26
2024-06-10
2024-07-04
2024-06-24
2024-11-22
2024-11-04
2024-10-10
2024-10-03
2024-09-27
2024-09-08
2024-09-05
2024-08-27