粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
今天最大的瓜莫过于：斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5，详细证据：
https://github.com/OpenBMB/MiniCPM-V/issues/196
吃瓜之余，来看一下多模态大模型架构演变！
一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。
多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合：类型A和类型B在模型的内部层融合多模态输入。早期融合：类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制，而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构，而类型D则采用输入标记化（离散标记）。SCDF：基于标准交叉注意力的深度融合。CLDF：基于定制层的深度融合。NTEF：非标记化的早期融合。TEF：标记化的早期融合。
Type-B (CLDF：Custom Layer based Deep Fusion) - 自定义层深度融合：使用定制设计的层（例如自定义交叉注意力层或其他特定层）在模型的内部层进行多模态输入的深度融合。
Type-C (NTEF：Non-Tokenized Early Fusion) - 非标记化早期融合：在模型的输入阶段进行多模态输入的早期融合，使用模态特定的编码器，但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。
Type-D (TEF：Tokenized Early Fusion ) - 标记化早期融合：与Type-C类似，在输入阶段进行早期融合，但使用标记化技术（如tokenizers）来处理模态。
https://arxiv.org/pdf/2405.17927The Evolution of Multimodal Model Architectures
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-24
大模型技术创新驱动的AI生态和应用演进
2025-04-24
除了MCP我们还有什么？
2025-04-24
LLM 推理引擎之争：Ollama or vLLM ?
2025-04-24
刚刚，OpenAI发布GPT-image-1模型，更强吉卜力版本来啦
2025-04-24
捕获AI的注意力：重复、幻觉、偏见背后的物理学
2025-04-24
Trae这次更新太炸了：上下文、MCP、智能体全上线，AI IDE全面觉醒！
2025-04-23
专题策划（下）| 如何实现大模型与行业的深度耦合？
2025-04-23
2025：LLM 超越 “Token 生成器” 的一年
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
回到顶部