微信扫码
添加专属顾问
我要投稿
今天最大的瓜莫过于:斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5,详细证据:
https://github.com/OpenBMB/MiniCPM-V/issues/196
吃瓜之余,来看一下多模态大模型架构演变!
一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。
多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合:类型A和类型B在模型的内部层融合多模态输入。早期融合:类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制,而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构,而类型D则采用输入标记化(离散标记)。SCDF:基于标准交叉注意力的深度融合。CLDF:基于定制层的深度融合。NTEF:非标记化的早期融合。TEF:标记化的早期融合。
Type-B (CLDF:Custom Layer based Deep Fusion) - 自定义层深度融合:使用定制设计的层(例如自定义交叉注意力层或其他特定层)在模型的内部层进行多模态输入的深度融合。
Type-C (NTEF:Non-Tokenized Early Fusion) - 非标记化早期融合:在模型的输入阶段进行多模态输入的早期融合,使用模态特定的编码器,但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。
Type-D (TEF:Tokenized Early Fusion ) - 标记化早期融合:与Type-C类似,在输入阶段进行早期融合,但使用标记化技术(如tokenizers)来处理模态。
https://arxiv.org/pdf/2405.17927The Evolution of Multimodal Model Architectures
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-05-27
盘点 Azure AI Foundry 的10大重要更新
2025-05-27
50个AI基础常识问答(看完理解整个AI行业)
2025-05-27
AI时代下的软件升级:大模型如何让考勤系统听懂人话?
2025-05-27
美团要开放AI编程能力,将推出新产品NoCode|智能涌现独家
2025-05-27
AI大模型3种模式:Embedding、Copilot与Agent深度解析
2025-05-27
AI领域基础概念(下)
2025-05-26
万字长文!AI智能体全面爆发前夜:一文讲透技术架构与行业机会
2025-05-26
国产顶级 DeepResearch 类产品,把咨询专家请回家
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-07-20
2025-05-27
2025-05-26
2025-05-23
2025-05-23
2025-05-23
2025-05-18
2025-05-18
2025-05-17