粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
01
前言
最近一直在打磨自己的焊接本地知识库和RAG问答，LLM的回答时而惊艳，时而气人，总的来说还是蛮有意思的。不过时间长了，慢慢觉得答案有点单调，原因很简单，就是无图！
02
方法
在B站上看到UP主—“崩坏的领航员”提供的方法，就是对知识库动手脚，比如特意添加一条，内容上则是图的相关信息或者标题，然后在辅助数据中按照MARKDOWN的规则，将图片的URL写进去，这样在问答时，URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式，所以界面内会自动显示图片。
自行操作的时候，我发现对于建立本地知识库而言，FastGPT原本就提供了相关的功能。
在上传文件建立知识库时，FastGPT会将文档中的图片自动上传到本地服务器上（我猜的），同时给每一张图片进行自动命名。
以文档中第一张图片为例，它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”，在确认建库后，在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。
因此，一旦检索到的知识库里包含图片标记，同时提示词里包含“图片需求”，知识库里的图片标记就会被LLM揉合进答案里，同时自然呈现在回答的界面里。
03
问题
其实上面的方法是误打误撞发现的，因为起初多次尝试时，图片并没有显示，主要原因还是LLM对图片标记处理的过程并不稳定，容易出现以下问题：
（1）图片URL并不是上述基于fastgpt3000端口的，而是LLM胡诌的，或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径，所以LLM很容易把握不住。
（2）图片URL由i.imgur.com打头，后面有时跟着知识库里的标记号，有时是其它编号，反正很奇怪。
（3）即使图片可以正常显示，但当知识库中的图片标记较多时，会出现图片混乱显示的情况，尤其是图片和标题离得较远时，LLM会“借机发挥”，多出图，出错图。
04
对策
目前想到的一个方法是将word文档中的图片提取出来，然后自己重建立一个虚拟服务器，从而将图片地址URL化，然后再把URL导入原始word，这样在生成知识库时，图片地址和原文、用户问题可以建立更强的语义相关度，既可以保证图片的显示，同时也可以尽可能地避免图片的错误显示。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-19
RAG升级-基于知识图谱+deepseek打造强大的个人知识库问答机器人
2025-04-19
RAG vs. CAG vs. Fine-Tuning：如何为你的大语言模型选择最合适的“脑力升级”？
2025-04-19
低代码 RAG 只是信息搬运工，Graph RAG 让 AI 具备垂直深度推理能力！
2025-04-18
微软PIKE-RAG全面解析：解锁工业级应用领域知识理解与推理
2025-04-18
AI 记忆不等于 RAG：对话式 AI 为何需要超越检索增强
2025-04-18
Firecrawl：颠覆传统爬虫的AI黑科技，如何为LLM时代赋能
2025-04-18
什么是RAG与为什么要RAG？
2025-04-18
Anthropic工程师揭秘高效AI Agent的三大秘诀
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-19
2025-04-18
2025-04-16
2025-04-14
2025-04-13
2025-04-11
2025-04-09
2025-04-07
回到顶部