SuperSonic Mapper实现解析 - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AI

从SuperSonic的架构图，可以看到Schema Mapper处在一个很重要位置；主要功能是从输入文本中，解析所有可能存在的SchemaElement；并将这些SchemaElement数据将传递到下一步的Parser中，作为后续Parser解析识别使用；

其中SchemaElement主要分为几个类型：model(模型)、metric（指标）、dimension（维度）、value（维度值）、entity（实体名）；那么Mapper是如何识别文本成SchemaElement呢？

SuperSonic中的Mapper主要分为三类：基于Embedding的语义识别(EmbeddingMapper)、前后缀识别(HanlpDictMapper)、模糊识别(FuzzyNameMapper)；Mapper支持灵活支持扩展；可在META-INF / spring.factories中动态修改；

每个mapper将自身识别到的SchemaElement按model进行分类，统一添加至QueryContext中的mapInfo中；各个mapper识别后的SchemaElement都是相互进行补充，并在添加时进行对数据去重处理；

目前SuperSonic中的词典数据主要存储：1、借助hanlp中的BinTrie组件存储在Trie树；2、探测加速时使用的精确匹配的双数组Trie树；

词典主要由word、nature、frequency，三类组成，其中nature构造如下；同一个word，如果frequency不同，可以选取frequency较大的作为识别的内容；

Element类型	支持后缀查询	支持模糊查询	nature	示例（word nature frequency）
model	否	否	_{modelId}	超音数 _1 10000
metric	是	是	_{modelId}_{metircId}_metric	访问次数 _1_2_metric 10000
dimension	是	是	_{modelId}_{dimensionId}_dimension	部门 _1_1_dimension 10000
value	否	否	_{modelId}_{dimensionId}	marketing _1_1 310
entity	否	否	_{modelId}_{dimensionId}_entity	_1_1 310

2、监听model、metric、dimension、value、entity元数据变更事件，从而实时重新更新词典；

一般生产环境下，维度值数据量大且不像维度名、指标名等可以实时获取变更；因此，对于维度值的构造，采用离线方式；

主要实现方式：定期或主动触发离线构造任务，该任务则通过查询语义层，获取该维度的维度值，并按词典格式写入到文件中；文件存储方式可支持本地文件、hdfs等文件；生产环境可配置成hdfs；hanlp.properties中修改配置；

注意：

原生hanlp只支持精确识别；我们利用BinTrie扩展了两棵前缀树；因此支持了前后缀匹配；
原生segment.seg同一个word只能取出一个nature；我们在此基础上进行扩展，可支持一次带出多个nature，灵活性大大提升；

2 .2、EmbeddingMapper

该Mapper主要功能是通过Embedding方式，支持语义层面映射，获取到输入文本中更多的语义相似的词匹配；说明：HanlpDictMapper、FuzzyNameMapper这些只能做到单纯文本层面的映射，无法支持语义层面的映射。

实现原理：

系统定期/实时，将metirc、dimension、model等元数据信息导入向量数据库;
通过探测方式，两层循环获取探测所有文本；
按照指定批次大小，批量查询向量数据库，获取文本的最相似数据；
按model过滤、相似度过滤查询数据，数据按model分类构造，将SchemaElement并写入到MapInfo中；

探测方式：对输入文本进行探测，两层for循环，支持单步、批量查询；并采用hanlp的识别到的词进行探测加速；主要是借助hanlp的精确识别能力，调用segment.seg方法，可以一次性将文本中所有在词典的词查询出来；识别到这些词后，两层for循环在识别到的词基础上，进行探测加速，减少不必要的探测开销；

com.tencent.supersonic.chat.mapper.BaseMatchStrategy中
public List<T> detect(QueryContext queryContext, List<Term> terms, Set<Long> detectModelIds) {Map<Integer, Integer> regOffsetToLength = getRegOffsetToLength(terms);String text = queryContext.getRequest().getQueryText();Set<T> results = new HashSet<>();
Set<String> detectSegments = new HashSet<>();
for (Integer startIndex = 0; startIndex <= text.length() - 1; ) {
for (Integer index = startIndex; index <= text.length(); ) {int offset = mapperHelper.getStepOffset(terms, startIndex);index = mapperHelper.getStepIndex(regOffsetToLength, index);if (index <= text.length()) {String detectSegment = text.substring(startIndex, index);detectSegments.add(detectSegment);detectByStep(queryContext, results, detectModelIds, startIndex, index, offset);}}startIndex = mapperHelper.getStepIndex(regOffsetToLength, startIndex);}detectByBatch(queryContext, results, detectModelIds, detectSegments);return new ArrayList<>(results);}