解锁LLM知识库检索：高返回率背后的关键密码

推荐语

探索知识检索技术，解锁高效率信息定位的秘诀。

核心内容：
1. 知识检索算法的重要性及其基础模型
2. 向量空间模型、布尔模型和概率模型的对比分析
3. 嵌入模型在知识检索中的应用及其影响因素

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

• 常见的嵌入模型

• 影响检索返回的几个关键因素

• 知识图谱：智能检索的 “幕后英雄”

常见的嵌入模型

嵌入模型（Embedding Model）‌是一种将高维、离散数据（如词语、句子、图片等）映射到低维、连续向量空间的模型。通过嵌入模型，离散的对象可以被表示为具有语义或结构信息的密集向量。这些向量通常具有很好的数学性质，例如向量之间的距离或方向可以反映对象之间的相似性或关系。嵌入模型广泛应用于自然语言处理（NLP）、推荐系统、计算机视觉等领域。

常见的嵌入模型及其应用场景

1. ‌词向量嵌入（Word Embedding）‌：这是自然语言处理中最常见的一类嵌入模型，目标是将每个单词表示为一个固定维度的向量，使得语义上相似的词具有相似的向量表示。常见的词向量模型包括：

• ‌Word2Vec‌：由Google提出的词向量模型，采用两种主要的训练方法：Skip-Gram和CBOW（Continuous Bag of Words）。Word2Vec通过预测上下文中的词来学习词的向量表示，优点是计算速度快，能够捕捉词与词之间的语义关系。
• ‌GloVe‌：Global Vectors for Word Representation，由斯坦福大学提出。GloVe通过构建词共现矩阵并优化该矩阵的低秩分解来学习词向量，关注词与词之间的全局统计信息。
• ‌FastText‌：由Facebook提出，不仅考虑单词本身，还会考虑单词的子词信息（即字母组合），适用于处理稀有词和未登录词。

• ‌文本嵌入模型‌：如Gemini Embedding，这是谷歌推出的基于AI的文本处理模型，能够将文本转换为数值表示（向量），支持语义搜索、推荐系统和文档检索等功能。Gemini Embedding在多个领域如金融、科学等展现出更优性能，并支持超过100种语言及更大的文本处理量。

• ‌BGE（BAAI General Embedding）‌：由智源研究院团队开发，支持多语言（中英文），有多个版本（如bge-large-en、bge-base-en、bge-small-en等），适用于检索、分类、聚类或语义搜索等任务。BGE模型在MTEB和C-MTEB基准测试中都取得了第一名的成绩，并且是开源的，可以在MIT许可下免费使用‌。












02

—

影响检索返回的几个关键因素




相似度阈值：筛选结果的 “滤网”

在知识检索中，相似度阈值就像是一个筛选结果的 “滤网” ，它决定了检索结果的相关性和数量。简单来说，相似度阈值是一个预先设定的数值，用于衡量检索结果与查询内容的相似程度。当系统计算出的文档与查询的相似度得分高于这个阈值时，该文档就有可能被作为检索结果返回给用户；反之，如果相似度得分低于阈值，那么该文档就会被过滤掉。

例如，在一个新闻检索系统中，我们设置相似度阈值为 0.7。当用户查询 “人工智能在医疗领域的应用” 时，系统会计算数据库中每篇新闻与该查询的相似度。如果一篇新闻报道了人工智能在医学影像诊断方面的应用，与查询的相似度计算结果为 0.8，大于设定的阈值 0.7，那么这篇新闻就会被返回给用户。但如果另一篇新闻只是简单提及了人工智能，主要内容是关于人工智能在交通领域的应用，与查询的相似度仅为 0.5，低于阈值，它就不会出现在检索结果中。

相似度阈值的设置对检索结果有着重要影响。如果阈值设置过高，虽然返回的结果相关性会很强，但可能会遗漏一些潜在有用的信息，导致返回结果数量过少。比如在上述新闻检索例子中，若将阈值提高到 0.9，一些虽然提到了人工智能在医疗领域应用，但表述不是特别精准的新闻可能就不会被返回，用户获取的信息就会受限。相反，如果阈值设置过低，返回的结果数量可能会很多，但其中会包含大量相关性较低的信息，增加用户筛选有效信息的难度。假设将阈值降低到 0.3，可能一些仅仅提到 “人工智能” 或者 “医疗” 字眼，但内容与两者结合应用无关的新闻也会被返回，使得检索结果变得杂乱无章。

关键字相似度权重：精准匹配的 “指南针”

关键字相似度权重是知识检索中另一个重要的影响因素，它就像是精准匹配的 “指南针” ，指引着系统找到与查询最为相关的内容。关键字相似度权重用于衡量关键字与文档或查询之间的相似程度，通过给不同的关键字分配不同的权重，来突出它们在检索中的重要性。

例如，在一个电商商品检索系统中，当用户输入 “苹果手机” 进行查询时，“苹果” 和 “手机” 这两个关键字对于确定用户想要的商品都非常关键。但如果用户输入 “红色苹果手机”，此时 “红色” 这个关键字虽然也有一定作用，但相对 “苹果” 和 “手机” 来说，其重要性可能就稍低一些。在这种情况下，我们可以给 “苹果” 和 “手机” 分配较高的权重，比如 0.4，给 “红色” 分配相对较低的权重，比如 0.2 。这样，当系统在数据库中检索商品时，就会更倾向于返回那些同时包含 “苹果” 和 “手机”，并且 “红色” 作为辅助描述的商品信息，而不是仅仅因为商品包含 “红色” 这个词就将其返回。

在实际应用中，关键字相似度权重的设置可以根据具体的业务场景和需求进行调整。比如在学术文献检索中，对于一些专业术语和核心概念的关键字，可以给予较高的权重，因为这些关键字往往能够更准确地反映文献的主题和内容。假设我们在检索一篇关于 “人工智能深度学习算法” 的学术论文，“人工智能”“深度学习”“算法” 这些关键字对于准确找到相关文献至关重要，它们的权重可以设置得较高。而一些辅助性的描述词，如 “研究”“应用” 等，虽然也有一定作用，但权重可以相对低一些。通过合理设置关键字相似度权重，系统能够更精准地对检索结果进行排序，将最符合用户需求的文献排在前面，大大提高了检索结果的质量和可用性 。

TOP N：结果数量的 “控制器”

在知识检索中，TOP N 是一个用于限制返回结果数量的参数 ，它就像是一个 “控制器”，帮助我们精准地获取所需数量的信息。简单来说，TOP N 表示只返回排名在前 N 位的检索结果。例如，当我们设置 TOP N 为 5 时，系统只会返回与查询相关性最高的前 5 个结果。

在电商搜索场景中，当用户搜索 “运动鞋” 时，如果数据库中有成千上万条相关产品记录，若不设置 TOP N，可能会返回大量的产品信息，让用户在众多结果中难以快速找到自己想要的。而设置 TOP N 为 10，系统就会根据产品与 “运动鞋” 这个查询的相关性、销量、价格等综合因素进行排序，只返回排名前 10 的运动鞋产品，大大提高了用户查找信息的效率 。

在不同场景下，合适的 TOP N 值对检索结果有着重要影响。在学术文献检索中，如果用户想要快速了解某个研究领域的核心成果，设置较小的 TOP N 值，如 3 - 5，可以返回该领域引用次数最多、影响力最大的几篇文献，帮助用户迅速把握研究重点。但如果用户是在进行初步的探索性研究，希望获取更全面的信息，较小的 TOP N 值可能会导致遗漏重要内容，此时适当增大 TOP N 值，比如设置为 20 - 30，就能返回更多相关文献，让用户对该领域有更广泛的认识 。

然而，TOP N 也存在一定的局限性。它只能返回排名在前 N 位的结果，当我们需要获取中间位置或排名较靠后的结果时，就无法直接通过 TOP N 实现。比如在一个包含 100 名学生成绩的数据库中，我们想查询成绩排名在第 21 - 30 名的学生信息，单纯使用 TOP N 就无法满足需求。为了克服这个局限性，我们可以结合其他方法，例如先查询出所有结果，然后在应用层进行筛选；或者使用数据库的分页功能，通过多次查询来获取特定范围的结果 。





03

—

知识图谱：智能检索的 “幕后英雄”

知识图谱就像是一个智能大脑，默默地为知识库检索提供强大的支持，堪称智能检索的 “幕后英雄” 。知识图谱本质上是一种语义网络，它以结构化的方式描述了现实世界中的实体、概念以及它们之间的关系 。简单来说，它将各种信息以 “实体 - 关系 - 实体” 的三元组形式连接起来，形成一个庞大而有序的知识网络。

例如，在一个关于人物的知识图谱中，“马云” 是一个实体，他与 “阿里巴巴” 这个实体之间存在 “创立” 的关系，同时，“马云” 与 “企业家” 这个概念之间存在 “属于” 的关系。通过这样的方式，知识图谱能够将海量的信息进行有效的组织和关联，让计算机能够更好地理解和处理这些信息 。

在知识库检索中，知识图谱有着广泛的应用场景和显著的优势。当我们在搜索引擎中输入一个查询词时，知识图谱可以帮助搜索引擎理解用户的意图，不仅仅是简单的关键词匹配，而是从语义层面进行分析。比如，当用户查询 “苹果” 时，如果没有知识图谱，搜索引擎可能会返回各种包含 “苹果” 这个词的网页，包括水果苹果的介绍、苹果公司的新闻等，结果可能比较杂乱。但有了知识图谱，搜索引擎可以根据知识图谱中 “苹果” 这个实体的多种关系，如 “苹果 - 水果 - 富含维生素”“苹果 - 公司 - 生产电子产品” 等，判断用户更可能想要的是关于水果苹果还是苹果公司的信息，从而返回更精准的结果 。

在智能问答系统中，知识图谱的作用也不可或缺。当用户提出问题时，系统可以借助知识图谱进行推理和分析，找到与问题相关的实体和关系，从而给出准确的答案。例如，当用户问 “谁是苹果公司的创始人？”，知识图谱可以通过 “苹果公司 - 创始人 - 史蒂夫・乔布斯”“苹果公司 - 创始人 - 史蒂夫・沃兹尼亚克” 等关系，快速准确地回答出问题。

提升知识库检索正确率的秘籍

想要提高知识库检索的正确率，我们可以从多个方面入手。在数据处理阶段，对知识库中的数据进行清洗和预处理至关重要。这就好比整理房间，把杂乱无章的物品分类摆放，才能更方便地找到它们。我们要去除重复、错误和不相关的数据，对数据进行标准化处理，比如统一日期格式、规范词汇等 。例如，在一个电商知识库中，如果存在商品名称不一致的情况，像 “苹果手机” 和 “iPhone”，就需要进行统一规范，这样在检索时才能更准确地匹配。

选择合适的检索算法并不断优化也是关键。不同的算法适用于不同的场景，我们要根据知识库的特点和用户需求来选择。同时，对算法中的参数进行调优，如前面提到的相似度阈值、关键字相似度权重等，找到最适合的取值。还可以结合多种算法的优势，形成组合算法，以提高检索的准确性 。比如，将向量空间模型和概率模型结合，先通过向量空间模型快速筛选出一批可能相关的文档，再利用概率模型对这些文档进行更精确的排序。

利用用户反馈来不断改进检索系统也是必不可少的。可以收集用户对检索结果的评价，分析用户的搜索行为，了解他们的需求和痛点 。例如，如果很多用户在搜索 “人工智能在医疗领域的应用” 时，对返回的结果不满意，我们就可以分析原因，是关键词提取不准确，还是相似度计算存在问题，然后针对性地进行改进。通过持续的优化和改进，让知识库检索系统能够更好地满足用户的需求，为用户提供更精准、高效的服务 。

知识库检索返回率受到多个关键因素的综合影响，从知识检索算法的基础原理，到相似度阈值、关键字相似度权重、TOP N 等参数的具体设置，再到知识图谱的强大支持，每一个因素都在检索过程中发挥着独特而重要的作用。这些因素相互关联、相互影响，共同决定了检索结果的质量和数量 。