微信扫码
与创始人交个朋友
我要投稿
01
前言
最近一直在打磨自己的焊接本地知识库和RAG问答,LLM的回答时而惊艳,时而气人,总的来说还是蛮有意思的。不过时间长了,慢慢觉得答案有点单调,原因很简单,就是无图!
02
方法
在B站上看到UP主—“崩坏的领航员”提供的方法,就是对知识库动手脚,比如特意添加一条,内容上则是图的相关信息或者标题,然后在辅助数据中按照MARKDOWN的规则,将图片的URL写进去,这样在问答时,URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式,所以界面内会自动显示图片。
自行操作的时候,我发现对于建立本地知识库而言,FastGPT原本就提供了相关的功能。
在上传文件建立知识库时,FastGPT会将文档中的图片自动上传到本地服务器上(我猜的),同时给每一张图片进行自动命名。
以文档中第一张图片为例,它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”,在确认建库后,在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。
因此,一旦检索到的知识库里包含图片标记,同时提示词里包含“图片需求”,知识库里的图片标记就会被LLM揉合进答案里,同时自然呈现在回答的界面里。
03
问题
其实上面的方法是误打误撞发现的,因为起初多次尝试时,图片并没有显示,主要原因还是LLM对图片标记处理的过程并不稳定,容易出现以下问题:
(1)图片URL并不是上述基于fastgpt3000端口的,而是LLM胡诌的,或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径,所以LLM很容易把握不住。
(2)图片URL由i.imgur.com打头,后面有时跟着知识库里的标记号,有时是其它编号,反正很奇怪。
(3)即使图片可以正常显示,但当知识库中的图片标记较多时,会出现图片混乱显示的情况,尤其是图片和标题离得较远时,LLM会“借机发挥”,多出图,出错图。
04
对策
目前想到的一个方法是将word文档中的图片提取出来,然后自己重建立一个虚拟服务器,从而将图片地址URL化,然后再把URL导入原始word,这样在生成知识库时,图片地址和原文、用户问题可以建立更强的语义相关度,既可以保证图片的显示,同时也可以尽可能地避免图片的错误显示。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-23
FastRAG半结构化RAG实现思路及OpenAI O1-long COT蒸馏路线思考
2024-11-23
检索增强生成(RAG):解密AI如何融合记忆与搜索
2024-11-23
如何提高RAG系统准确率?12大常见痛点及巧妙解!
2024-11-23
RAG 2.0性能提升:优化索引与召回机制的策略与实践
2024-11-22
RAG技术在实际应用中的挑战与解决方案
2024-11-22
从普通RAG到RAPTOR,10个最新的RAG框架
2024-11-22
如何使用 RAG 提高 LLM 成绩
2024-11-21
提升RAG性能的全攻略:优化检索增强生成系统的策略大揭秘 | 深度好文
2024-07-18
2024-05-05
2024-07-09
2024-05-19
2024-07-09
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21