01-Mamba架构简介

• 首先，简单地用输入函数来作为SSM参数，就可以用离散模态来解决它们的弱点，允许模型根据当前令牌沿着序列长度维度选择性地传播或忘记信息。
• 其次，尽管这种变化阻止了高效卷积的使用，但作者在递归模式下设计了一种硬件感知的并行算法。并将这些选择性SSM集成到一个简化的端到端神经网络架构中，而无需注意力机制，甚至无需MLP块（Mamba）。

02-Meteor算法简介

    视觉指令调优的进步推动了大型语言和视觉模型的快速发展。最近，开源LLVM策划了高质量的视觉指令调整数据集，并利用了额外的视觉编码器或多个计算机视觉模型，从而缩小与强大的闭源LLVM之间的性能差距。这些进步归功于多样化能力所需的多方面信息，包括基本的图像理解、关于常识和非对象概念（如图表、图表、符号、符号和数学问题）的真实世界知识，以及解决复杂问题的分步程序。

    本文提出了一种新的高效LLVM，即基于Mamba的推理遍历（Meteor），它利用多方面的推理来增强模型的理解和回答能力。为了嵌入包含丰富信息的冗长推理，作者采用了Mamba架构，能够处理具有线性时间复杂性的序列数据。除此之外，作者引入了一个新的基本原理遍历概念，这有助于有效嵌入基本原理。

    上图展示了Meteor算法的整体架构和训练流程。Meteor包括视觉编码器、视觉映射模块、Mamba架构、tor映射模块和基于预训练的大型语言模型（LLM）的骨干多模态语言模型（MLM）。

    对于视觉编码器，作者使用CLIP-L/14，这是一个文本对齐的视觉模块，它利用了由文本描述提供的图像理解能力。对于视觉和tor投影模块，作者使用MLP模块，该模块包含两个具有GELU激活功能的完全连接层。接着，作者使用Mamba-130M架构来提高计算效率，并采用InternetLM2-7B作为骨干大语言模型（LLM），该模型是用RLHF中的2T多语言文本数据令牌学习而来。

    为了构建视觉指令微调数据集，作者不仅涵盖了基本的图像理解，还涵盖了广泛的各种能力：常识知识、非对象概念（如图表、图表、文档、符号、符号和数学问题）、认知推理、多学科任务和综合能力。

图5.1-问题原理答案三元组样例1展示

图5.4-问题原理答案三元组样例4展示

图5.5-问题原理答案三元组样例5展示

    上图展示了从7B到110B以上的参数中，作者将Meteor与许多开源和闭源LLVM在MME、MMB、AI2D和MathVista等多个评估基准上面的比较结果。通过观察与分析，我们可以得出以下的初步结论：与其它具有超大参数的模型相比，Meteor在需要不同功能的众多基准测试上显著提高了视觉语言性能。

    上表展示了该算法与当前现有的开源LLVM进行客观比较的结果。在需要不同功能的众多评估基准上评估Meteor的视觉语言性能体，具体包括:QBench、SQAI、AI2D、ChartQA、SEEDI、POPE、HallB、MME、MathVista、MMB、MMBCN、MM Vet和LLaVAW等。

图7.2-Meteor输出效果展示

图7.3-Meteor输出效果展示

图7.4-Meteor输出效果展示

图7.5-Meteor输出效果展示

图7.6-Meteor输出效果展示

图7.7-Meteor输出效果展示

图7.8-Meteor输出效果展示

图7.9-Meteor输出效果展示

图7.10-Meteor输出效果展示

图7.11-Meteor输出效果展示

关注我，AI热点早知道，AI算法早精通，AI产品早上线！