AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


SuperSonic Mapper实现解析
发布日期:2024-06-22 06:36:37 浏览次数: 1758


一、Mapper功能总体介绍

    从SuperSonic的架构图,可以看到Schema Mapper处在一个很重要位置;主要功能是从输入文本中,解析所有可能存在的SchemaElement;并将这些SchemaElement数据将传递到下一步的Parser中,作为后续Parser解析识别使用;


    其中SchemaElement主要分为几个类型:model(模型)、metric(指标)、dimension(维度)、value(维度值)、entity(实体名);那么Mapper是如何识别文本成SchemaElement呢?


二、Mapper实现解析

    SuperSonic中的Mapper主要分为三类:基于Embedding的语义识别(EmbeddingMapper)、前后缀识别(HanlpDictMapper)、模糊识别(FuzzyNameMapper);Mapper支持灵活支持扩展;可在META-INF / spring.factories中动态修改;

    每个mapper将自身识别到的SchemaElement按model进行分类,统一添加至QueryContext中的mapInfo中;各个mapper识别后的SchemaElement都是相互进行补充,并在添加时进行对数据去重处理;

2.1、词典数据

    目前SuperSonic中的词典数据主要存储:1、借助hanlp中的BinTrie组件存储在Trie树;2、探测加速时使用的精确匹配的双数组Trie树;

2.1.1、词典格式

    词典主要由word、nature、frequency,三类组成,其中nature构造如下;同一个word,如果frequency不同,可以选取frequency较大的作为识别的内容;

Element类型

支持后缀查询

支持模糊查询

nature

示例(word nature frequency)

model

_{modelId}

超音数 _1 10000

metric

_{modelId}_{metircId}_metric

访问次数 _1_2_metric 10000

dimension

_{modelId}_{dimensionId}_dimension

部门 _1_1_dimension 10000

value

_{modelId}_{dimensionId}

marketing _1_1 310

entity

_{modelId}_{dimensionId}_entity

_1_1 310

2.1.2、词典构造

  • 实时词典构造

    1、定期1分钟,实时对比model、metric、dimension、value(仅在界面配置的维度值数据)、entity元数据,如果有变化,则将全量元数据更新到词典中;

com.tencent.supersonic.knowledge.listener.ApplicationStartedListener
com.tencent.supersonic.knowledge.dictionary.builder.ModelWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.MetricWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.DimensionWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.ValueWordBuildercom.tencent.supersonic.knowledge.dictionary.builder.EntityWordBuilder

    2、监听model、metric、dimension、value、entity元数据变更事件,从而实时重新更新词典;

com.tencent.supersonic.knowledge.listener.DictUpdateListener
  • 离线词典构造

    一般生产环境下,维度值数据量大且不像维度名、指标名等可以实时获取变更;因此,对于维度值的构造,采用离线方式;

    主要实现方式:定期或主动触发离线构造任务,该任务则通过查询语义层,获取该维度的维度值,并按词典格式写入到文件中;文件存储方式可支持本地文件、hdfs等文件;生产环境可配置成hdfs;hanlp.properties中修改配置;

IOAdapter=com.tencent.supersonic.knowledge.dictionary.HadoopFileIOAdapter

注意:

  • 原生hanlp只支持精确识别;我们利用BinTrie扩展了两棵前缀树;因此支持了前后缀匹配;

  • 原生segment.seg同一个word只能取出一个nature;我们在此基础上进行扩展,可支持一次带出多个nature,灵活性大大提升;

2 .2、EmbeddingMapper

    该Mapper主要功能是通过Embedding方式,支持语义层面映射,获取到输入文本中更多的语义相似的词匹配;说明:HanlpDictMapper、FuzzyNameMapper这些只能做到单纯文本层面的映射,无法支持语义层面的映射。

实现原理:

  • 系统定期/实时,将metirc、dimension、model等元数据信息导入向量数据库;

  • 通过探测方式,两层循环获取探测所有文本;

  • 按照指定批次大小,批量查询向量数据库,获取文本的最相似数据;

  • 按model过滤、相似度过滤查询数据,数据按model分类构造,将SchemaElement并写入到MapInfo中;

    探测方式:对输入文本进行探测,两层for循环,支持单步、批量查询;并采用hanlp的识别到的词进行探测加速;主要是借助hanlp的精确识别能力,调用segment.seg方法,可以一次性将文本中所有在词典的词查询出来;识别到这些词后,两层for循环在识别到的词基础上,进行探测加速,减少不必要的探测开销;


com.tencent.supersonic.chat.mapper.BaseMatchStrategy中
public List<T> detect(QueryContext queryContext, List<Term> terms, Set<Long> detectModelIds) {Map<Integer, Integer> regOffsetToLength = getRegOffsetToLength(terms);String text = queryContext.getRequest().getQueryText();Set<T> results = new HashSet<>();
Set<String> detectSegments = new HashSet<>();
for (Integer startIndex = 0; startIndex <= text.length() - 1; ) {
for (Integer index = startIndex; index <= text.length(); ) {int offset = mapperHelper.getStepOffset(terms, startIndex);index = mapperHelper.getStepIndex(regOffsetToLength, index);if (index <= text.length()) {String detectSegment = text.substring(startIndex, index);detectSegments.add(detectSegment);detectByStep(queryContext, results, detectModelIds, startIndex, index, offset);}}startIndex = mapperHelper.getStepIndex(regOffsetToLength, startIndex);}detectByBatch(queryContext, results, detectModelIds, detectSegments);return new ArrayList<>(results);}

    效果如下图所示:

    1、输入"近15天超音数浏览量汇总",其中"浏览量"和"访问次数"在文本上相似度很低,但是在语义上相似,也可以识别到;


    2、输入"近15天访问时间按访问者汇总",其中"访问者"可以识别到"用户名";"访问时间"可以识别到"停留时长";


说明:Github master最新代码已包含Embedding mapper功能,release版本预计在0.8.0中发布;


2.3 、HanlpDictMapper

    该Mapper主要功能是通过借用Hanlp词典能力,从纯文本角度按前后缀方式识别文本中的相似词;

实现原理:

  • 探测方式和EmbeddingMapper一致,通过两层for循环获取探测文本,然后调用Trie树,进行前后缀搜索;

  • 探测文本与搜索后的文本进行编辑距离计算相似度,按配置的相似度阈值过滤;

  • 然后同EmbeddingMapper一样,按model分类构造SchemaElement写入到MapInfo中;

2.4、FuzzyNameMapper

    背景:由于HanlpDictMapper只支持前后缀的搜索,不支持模糊搜索;以指标"访问次数"为例说明:

  • 文本中输入"访问",HanlpDictMapper可识别:访问次数、访问人数;--前缀搜索

  • 文本中输入"人数",HanlpDictMapper可识别:访问人数;--后缀搜索

  • 文本中输入"问次",HanlpDictMapper无法识别;--模糊搜索


    该Mapper主要功能借助db中的模糊搜索能力,通过模糊搜索识别更多的词,以解决HanlpDictMapper不支持模糊的缺点;由于db中只存储了指标名、维度名信息,因此暂时只支持维度名、指标名的模糊搜索;


实现原理:

  • 探测方式和EmbeddingMapper一致,通过两层for循环获取探测文本,从db中模糊搜索维度名、指标名;

  • 探测文本与模糊搜索后的文本进行编辑距离计算相似度,按配置的相似度阈值过滤;

  • 然后同EmbeddingMapper一样,按model分类构造SchemaElement写入到MapInfo中;


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询