粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
01
前言
最近一直在打磨自己的焊接本地知识库和RAG问答，LLM的回答时而惊艳，时而气人，总的来说还是蛮有意思的。不过时间长了，慢慢觉得答案有点单调，原因很简单，就是无图！
02
方法
在B站上看到UP主—“崩坏的领航员”提供的方法，就是对知识库动手脚，比如特意添加一条，内容上则是图的相关信息或者标题，然后在辅助数据中按照MARKDOWN的规则，将图片的URL写进去，这样在问答时，URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式，所以界面内会自动显示图片。
自行操作的时候，我发现对于建立本地知识库而言，FastGPT原本就提供了相关的功能。
在上传文件建立知识库时，FastGPT会将文档中的图片自动上传到本地服务器上（我猜的），同时给每一张图片进行自动命名。
以文档中第一张图片为例，它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”，在确认建库后，在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。
因此，一旦检索到的知识库里包含图片标记，同时提示词里包含“图片需求”，知识库里的图片标记就会被LLM揉合进答案里，同时自然呈现在回答的界面里。
03
问题
其实上面的方法是误打误撞发现的，因为起初多次尝试时，图片并没有显示，主要原因还是LLM对图片标记处理的过程并不稳定，容易出现以下问题：
（1）图片URL并不是上述基于fastgpt3000端口的，而是LLM胡诌的，或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径，所以LLM很容易把握不住。
（2）图片URL由i.imgur.com打头，后面有时跟着知识库里的标记号，有时是其它编号，反正很奇怪。
（3）即使图片可以正常显示，但当知识库中的图片标记较多时，会出现图片混乱显示的情况，尤其是图片和标题离得较远时，LLM会“借机发挥”，多出图，出错图。
04
对策
目前想到的一个方法是将word文档中的图片提取出来，然后自己重建立一个虚拟服务器，从而将图片地址URL化，然后再把URL导入原始word，这样在生成知识库时，图片地址和原文、用户问题可以建立更强的语义相关度，既可以保证图片的显示，同时也可以尽可能地避免图片的错误显示。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-29
5.6K+ Star！R2R：一个支持RAG的AI检索系统
2025-03-29
这就是AI智能体的记忆机制原理
2025-03-29
数据处理+Embedding+Re-rank等：提升RAG等AI应用的精准性与效率
2025-03-28
Ragflow技术栈分析及二次开发指南
2025-03-28
RagFlow和Dify如何选择
2025-03-28
RAG太折磨人啦，试一下pip install rankify，检索、重排序、RAG三合一，完美。| 独家
2025-03-28
深度长文｜DeepSeek R1 的 RAG 检索之谜：为何“推理大师”不擅长 Embedding？
2025-03-28
RAG检索增强之ReRank(重新排序)模型
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-03-28
2025-03-27
2025-03-27
2025-03-25
2025-03-19
2025-03-18
2025-03-18
2025-03-15
回到顶部