微信扫码
添加专属顾问
我要投稿
今天最大的瓜莫过于:斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5,详细证据:
https://github.com/OpenBMB/MiniCPM-V/issues/196
吃瓜之余,来看一下多模态大模型架构演变!
一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。
多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合:类型A和类型B在模型的内部层融合多模态输入。早期融合:类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制,而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构,而类型D则采用输入标记化(离散标记)。SCDF:基于标准交叉注意力的深度融合。CLDF:基于定制层的深度融合。NTEF:非标记化的早期融合。TEF:标记化的早期融合。
Type-B (CLDF:Custom Layer based Deep Fusion) - 自定义层深度融合:使用定制设计的层(例如自定义交叉注意力层或其他特定层)在模型的内部层进行多模态输入的深度融合。
Type-C (NTEF:Non-Tokenized Early Fusion) - 非标记化早期融合:在模型的输入阶段进行多模态输入的早期融合,使用模态特定的编码器,但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。
Type-D (TEF:Tokenized Early Fusion ) - 标记化早期融合:与Type-C类似,在输入阶段进行早期融合,但使用标记化技术(如tokenizers)来处理模态。
https://arxiv.org/pdf/2405.17927The Evolution of Multimodal Model Architectures
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-05-06
OpenAI「一拆二」:非营利控股 + 公益企业赚钱(与 Anthropic 同道)
2025-05-06
智能履约:当大模型遇上供应链物流效率问题,这场革命悄然而至
2025-05-05
AI Agent"社交网络"来了!最新研究揭示AI Agent通信协议全景图
2025-05-05
慢生意快迭代:滴普科技的7年反共识「突围」
2025-05-01
Agent2Agent 协议详解:Google 引领打造通用 AI 代理通信标准
2025-05-01
万字一手实测Prover-V2-671B数学证明模型
2025-04-30
o3 深度解读:OpenAI 终于发力 tool use,agent 产品危险了吗?
2025-04-30
深度解析OpenAI和Google智能体白皮书及背后两种路线|大模型研究
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-30
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28