微信扫码
添加专属顾问
我要投稿
核心内容: 1. 重排序模型在知识库优化中的作用与重要性 2. 嵌入模型与重排序模型结合的检索策略优势 3. CherryStudio软件中重排序模型的使用方法和支持的服务商 探索知识库优化新路径,重排序模型让检索结果更精准,提升AI理解力。
好久不见,终于来了,今天我们在知识库优化之路上继续探索。
这是《知识库优化之路》系列的第四篇。
这个系列主要是面向普通小白用户,在资源条件、技术条件有限的情况下,如何仅仅从用户侧,做一些基本的知识库优化工作,希望能给大家带来一些帮助。
之前的三篇,我们已经介绍过,为了让AI更好地理解知识库中的资料,可以使用工具把文件转换为Markdown和JSON格式,以及选择更好的嵌入模型。
知识库优化之路(一):把PDF文件转成Markdown格式
知识库优化之路(二):喂给AI最喜欢的数据格式JSON
知识库优化之路(三):嵌入模型的选择和使用方法
如果你已经做过了这些,还希望进一步提升效果,可以考虑使用重排序(Rerank)模型。
顾名思义,重排序就是重新排序的意思。
你一定很想知道,重新排序的对象是谁?
如果你看过我之前关于知识库基本原理的介绍(泼冷水:CherryStudio+本地知识库,没你想的那么简单),应该明白:用户提出问题之后,嵌入模型并不是直接拿着用户的问题去知识库里搜索的,而是要先把问题转换成向量数据,类似 [0.3, -0.8, 1.5…] 这样的数字串,然后再到向量数据库中进行相似度匹配,也就是用算法来筛选出一批最有可能和问题相关的资料片段。
请注意,这一步筛选出来的资料片段,只是很有可能和用户的问题相关,至于是不是真的有关系,以及关系的大小,都不好说,不确定。
原因很简单:向量数据库进行匹配时,使用的是向量数据,是基于纯数字的相似度计算,并不能代表文字意义上的匹配度。
这个时候,就该重排序模型出场了。
它的作用,就是把上一步向量数据库初步筛选出来的资料片段,进行更深入更仔细的分析理解,再按照它们和问题的相关性重新排序。
简单来说,嵌入模型负责找出一批“可能和问题相关的片段”,而重排序模型负责在这批“嫌疑片段”中找出最相关的,并将它们按相关性排序,只把排序靠前的部分提交给大模型。
既然重排序模型的筛选更精准,为什么不一开始就使用它呢?
重排序模型虽然精度高,但需要的算力资源也很大,如果一开始就用它处理大量数据,计算成本将变得非常高昂,并不实用。
采用嵌入模型+重排序模型这种“先粗后精”的两步检索策略,能够兼顾效率和精度,更符合实际使用场景。
目前,CherryStudio知识库已经支持重排序模型,如果你是CherryStudio的用户,可以先升级一下软件,就能正常使用了。
根据CherryStudio的提示,目前重排序模型仅支持部分服务商(硅基流动,Jina,Voyage Al)。这里面硅基流动是我们的老朋友了,那就先从它开始吧。
在CherryStudio中打开模型服务设置界面,在服务列表中选择硅基流动,点击“管理”,在模型列表界面选择“重排”,可以看到有三个模型可以添加。
其中,Pro开头的只有付费用户可以使用,免费用户可以先添加另外两个,点击模型名称后面的“➕”即可。
另外,Jina 提供了重排序模型jina-reranker-v2-base-multilingual,而Voyage AI提供了rerank-2和rerank-2-lite 两个重排序模型。
想用的朋友可以自行摸索,注册这两个平台后获取到API Key,就可以自己添加。(需要教程的朋友可以留言,人多的话我再考虑写一篇)
在CherryStudio中新建知识库,或者选择现有的知识库,在设置中的重排模型那里,可以选择之前添加的重排序模型。
如果你的知识库嵌入模型用的是bge-m3,重排模型就可以用bge-reranker-v2-m3,毕竟都是bge系列,相互配合效果会更好。
设置过重排模型以后,就可以直接点击“搜索知识库”按钮,进行输入关键词或者问题测试一下效果。
还用我之前创建的DeepSeek资料库进行测试,嵌入模型bge-m3,重排模型bge-reranker-v2-m3,搜索内容“提示词技巧”。
在不使用重排模型时,匹配度最高的几个片段,匹配值只有60%多。
使用重排模型后,匹配度最高的几个片段,匹配值高达90%多。
这种差别还是相当明显的,如果仔细看一看内容,重排模型的判断确实更精准。
内容相关性高的片段,它给的分值也会比较高,不相关的片段,分值会非常低。这样就更便于筛选出哪些才是真正和问题相关的片段。
本文介绍了什么是重排序模型,以及在CherryStudio中如何使用重排序模型。通过我不太严谨的对比测试,看起来使用重排模型,确实能提升知识库的搜索效果。
美中不足的是,目前CherryStudio支持的重排模型还比较少,所以我也没有做太多的测试。欢迎大家在评论区,分享关于重拍模型的知识技巧和使用体验。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-17
腾讯IMA知识库高阶玩法之六,99%的人不知道:AI时代书还能这么读?
2025-04-17
腾讯文档 “AI搜索” PK 腾讯IMA!2个不同的AI产品框架,哪个产品经理更厉害?
2025-04-16
AI的思考模式又升级了!让它乖乖帮我们工作去吧!
2025-04-15
AI时代,企业还有没有必要做数据治理?——数据基建决定智能天花板
2025-04-15
腾讯IMA最新版:个人知识库文件夹功能革新,开启知识管理新范式
2025-04-14
从协议标准到智能筛选:AgentCard生态的一些畅想
2025-04-14
大模型用于招采评审,这样解决“AI幻觉”问题!
2025-04-14
泼个行业冷水 | 当前AI大模型对企业管理软件是改良,还没到革命
2024-09-14
2025-01-23
2024-07-10
2024-11-07
2025-02-17
2024-04-24
2024-08-04
2024-06-23
2024-05-15
2024-07-10
2025-04-17
2025-04-17
2025-04-13
2025-04-12
2025-04-11
2025-04-06
2025-03-22
2025-03-17