今天最大的瓜莫过于：斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5，详细证据：

https://github.com/OpenBMB/MiniCPM-V/issues/196

吃瓜之余，来看一下多模态大模型架构演变！

一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。

综合分类法

多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合：类型A和类型B在模型的内部层融合多模态输入。早期融合：类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制，而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构，而类型D则采用输入标记化（离散标记）。SCDF：基于标准交叉注意力的深度融合。CLDF：基于定制层的深度融合。NTEF：非标记化的早期融合。TEF：标记化的早期融合。

比较分析

• Type-A (SCDF：Standard Cross-Attention based Deep Fusion) - 标准交叉注意力深度融合：使用标准的交叉注意力层在模型的内部层进行多模态输入的深度融合。这种类型可能在自注意力层之前或之后添加交叉注意力层。

• Type-B (CLDF：Custom Layer based Deep Fusion) - 自定义层深度融合：使用定制设计的层（例如自定义交叉注意力层或其他特定层）在模型的内部层进行多模态输入的深度融合。

• Type-C (NTEF：Non-Tokenized Early Fusion) - 非标记化早期融合：在模型的输入阶段进行多模态输入的早期融合，使用模态特定的编码器，但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。

• Type-D (TEF：Tokenized Early Fusion ) - 标记化早期融合：与Type-C类似，在输入阶段进行早期融合，但使用标记化技术（如tokenizers）来处理模态。

任意到任意模态模型

https://arxiv.org/pdf/2405.17927The Evolution of Multimodal Model Architectures

推荐阅读

• • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO

• • 2024：ToB、Agent、多模态

• • TA们的RAG真正投产了吗？（上）

• • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。