粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
今天给大家分享一个开源框架，之前分享过一个使用QwenVL来构建的RAG系统脚本。这2天刷网页，看到一个仓库囊括了以视觉出发的RAG几层境界，并且都开源了相关colab notebook可执行代码，所以再次安利给家人们~
Level 1：Simple RAG (with OCR)
与naive RAG系统类似，不过多了OCR环节，因此它可以应付扫描件之类的pdf场景。
Level2: Vision RAG
一种比较常见的模式，使用一些跨模态的向量模型如Clip，文本和图像都被编码到共享向量空间中。检索回相关的图片之后，可以使用VL模型分析，或者解析成文本均可。
Vision RAG 对于文档分析任务特别有用，因为一些视觉组件（如图形、图表）与文本内容同样重要。
Level3: ColPali RAG
ColPali RAG 是一个新方法，利用了 Google 的视觉大模型 PaliGemma，将整个文档页面编码为香莲，将页面布局和视觉元素视为检索过程的一部分。
通过在用户query和文档patchs之间使用token级匹配来增强检索。这种方法确保了较高的检索准确性，同时还保持了合理的索引和查询速度。
它对于富含视觉效果的文档特别有用，例如信息图表、表格和复杂布局，而传统的基于文本的检索方法在这些文档中比较难处理。
当然ColPali的性能也是非常慢的
Level4: Hybrid ColPali RAG
这个是本项目命名的一个名字，他将Level2的向量检索进行粗召回，利用Level3的Colpali进行交互式精排。使得整个系统的推理耗时得到保证，当文档包含复杂的视觉信息和文本混合时，这种方法比较有用，允许系统利用这两种内容类型进行高度准确的文档检索。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-25
Manus开源版本！无需邀请码，老金手把手教你咋用！
2025-04-25
78k star，像写 Markdown 一样画流程图，这个开源工具太牛了！
2025-04-25
MarkItDown MCP：一款好用的将文件和办公文档转换为Markdown的AI工具！
2025-04-24
AI+SQL客户端，这款开源神器让数据库管理像聊天一样简单！
2025-04-24
效率革命！GitHub爆火的开源神器MinerU：PDF、网页、电子书一键转Markdown
2025-04-24
Suna：构建你专属“通用智能体”的开源利器
2025-04-24
开源TTS领域迎来重磅新星！Dia-1.6B：超逼真对话生成，开源2天斩获6.5K Star！
2025-04-24
仅用3周时间，就打造出Manus开源平替！贡献源代码，免费用
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-21
2025-04-19
2025-04-17
2025-04-15
2025-04-13
2025-04-10
2025-04-07
2025-04-03
回到顶部