2. RAG 如何在计算机视觉中使用？

2.1 传统（文本）RAG 与 可视化 RAG

如下图所示，Visual RAG 将检索增强生成 (RAG) 的概念应用于视觉任务。传统的 RAG 处理文本输入并检索相关文本信息，而 Visual RAG 则处理图像（有时还附带文本），并检索视觉数据或图像-文本对。

编码过程从文本编码器转变为视觉编码器（有时使用诸如 CLIP [6] 的基础模型来实现此目的），并且知识库（即矢量数据库）成为视觉信息而非文本文档的存储库。

2.2 视觉 RAG 或微调

• 预算：微调涉及重新训练模型，这更加昂贵。
• 推理： RAG 在推理过程中需要更多的计算。
• 时间：由于权重已更新，微调在开始时需要投入更多的时间，但从长远来看可能会减少时间投入。

1. 具有核心任务的不断发展的领域：例如，在医学成像领域，有标准的诊断程序（通过微调处理），但也有快速发展的研究和新的案例研究（由 Visual RAG 处理）。
2. 电子商务和产品识别：微调模型可以识别产品类别，而 Visual RAG 可以从动态库存中检索最新的产品信息或类似物品。
3. 内容审核系统：微调可以处理常见的违规类型，而 Visual RAG 可以适应新兴趋势或与上下文相关的违规行为。

3. 多模态 RAG

3.1 用于视频理解的多模态视觉 RAG

• 1. 知识库：系统从包含视频和图像的知识库开始。这是理解视觉内容的基础。
• 2. 嵌入模型：使用嵌入模型（例如 CLIP（对比语言-图像预训练））将知识库内容和用户查询转换为公共向量空间。这允许对不同模态（文本和视觉数据）进行比较。
• 3. 向量数据库：知识库的嵌入表示存储在向量数据库中，从而实现高效的相似性搜索。
• 4. 用户查询：用户输入查询，例如“查找下午 5 点之前停放的白色车辆”。
• 5. 查询处理：用户的查询经过嵌入模型，转换为与知识库内容相同的向量空间。
• 6. 检索和排序：系统根据查询嵌入和存储嵌入之间的相似性从向量数据库中检索相关信息。然后对结果进行排序以找到最相关的匹配。
• 7. 增强：检索到的信息经过快速处理或增强，以完善上下文并为语言视觉模型做好准备。
• 8. LLaVA 微调： LLaVA（大型语言和视觉助手）的微调版本处理增强信息。LLaVA 是一种能够理解文本和视觉输入的多模态模型。
• 9. 推理： LLaVA 模型对处理后的数据进行推理，以生成解决用户查询的响应。
• 10. 响应：最终输出是一个视觉响应——在本例中，是一张显示一辆停在街道上的白色汽车的图像，这与用户的查询相匹配。

4. 下一步处理

虽然上述的系统为视频理解提供了一个令人印象深刻的框架，但实际上，上图描述的是一个原型。对于生产级 Visual RAG 系统，为了成功部署，应该考虑一些事项：

1. 可扩展性：系统必须能够有效地处理大量视频数据和并发用户查询。

2. 错误处理和边缘情况：管道应该能够很好地管理视觉内容模糊或查询不清楚的情况。

5. 参考文献

[1] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks[2] Large Language Models for Information Retrieval: A Survey[3] Exploring Visual Prompts for Adapting Large-Scale Models[4] An embarrassingly simple approach to zero-shot learning[5] Visual Instruction Tuning[6] Learning Transferable Visual Models From Natural Language Supervision[7] Fine-tuning Language Models for Factuality[8] Written by The Tenyks Blogger