AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用FastGPT实现本地焊接知识库“带图”回答
发布日期:2024-07-09 08:32:17 浏览次数: 2852 来源:焊接新视野




01

前言


最近一直在打磨自己的焊接本地知识库和RAG问答,LLM的回答时而惊艳,时而气人,总的来说还是蛮有意思的。不过时间长了,慢慢觉得答案有点单调,原因很简单,就是无图!


02

方法


在B站上看到UP主—“崩坏的领航员”提供的方法,就是对知识库动手脚,比如特意添加一条,内容上则是图的相关信息或者标题,然后在辅助数据中按照MARKDOWN的规则,将图片的URL写进去,这样在问答时,URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式,所以界面内会自动显示图片。



自行操作的时候,我发现对于建立本地知识库而言,FastGPT原本就提供了相关的功能


在上传文件建立知识库时,FastGPT会将文档中的图片自动上传到本地服务器上(我猜的),同时给每一张图片进行自动命名。



以文档中第一张图片为例,它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”,在确认建库后,在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。




因此,一旦检索到的知识库里包含图片标记,同时提示词里包含“图片需求”,知识库里的图片标记就会被LLM揉合进答案里,同时自然呈现在回答的界面里。




03

问题


其实上面的方法是误打误撞发现的,因为起初多次尝试时,图片并没有显示,主要原因还是LLM对图片标记处理的过程并不稳定,容易出现以下问题:


(1)图片URL并不是上述基于fastgpt3000端口的,而是LLM胡诌的,或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径,所以LLM很容易把握不住。



(2)图片URL由i.imgur.com打头,后面有时跟着知识库里的标记号,有时是其它编号,反正很奇怪。



(3)即使图片可以正常显示,但当知识库中的图片标记较多时,会出现图片混乱显示的情况,尤其是图片和标题离得较远时,LLM会“借机发挥”,多出图,出错图。


04

对策


目前想到的一个方法是将word文档中的图片提取出来,然后自己重建立一个虚拟服务器,从而将图片地址URL化,然后再把URL导入原始word,这样在生成知识库时,图片地址和原文、用户问题可以建立更强的语义相关度,既可以保证图片的显示,同时也可以尽可能地避免图片的错误显示。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询