• 最强端侧多模态综合性能：超越多模态巨无霸 Gemini Pro 、GPT-4V
• OCR 能力 SOTA！180 万像素更清晰，难图长图长文本精准识别
• 量化后仅 8G 显存，4070 显卡轻松推理，并可在手机端以 6-8Tokens/s 速度高效运行；
• 图像编码快 150 倍！首次端侧系统级多模态加速；
• 支持 30+ 多种语言

▲ 新版本MiniCPM-V小钢炮再次登顶Hugging Face趋势榜单Top2

单位：

项目地址：

模型地址：

模型地址：

演示Demo：

自 OpenAI 发布 GPT-4V 以来，多模态大语言模型技术经历了飞速发展，模型性能日新月异。随着开源社区的高速发展，模型性能及参数规模出现了一种类似于摩尔定律的发展趋势（如图 1）：达到 GPT-4V 水平的模型参数规模随时间增长逐渐缩减。这也许可以称其为多模态大模型时代的摩尔定律。

效果展示

首先，MiniCPM-Llama3-V 2.5 具有良好的 OCR 能力，可以对英文文章截图进行内容提取：

MiniCPM-Llama3-V 2.5 能够理解非常规长宽比的图像输入，可以对手机文章的长截图进行总结：

同时，MiniCPM-Llama3-V 2.5 可以将密集表格数据转化为对应的 markdown 形式：

比如，MiniCPM-Llama3-V 2.5 可以针对输入的食物营养结构图片进行分析，并根据内容进行复杂饮食计划的设计：

▲ 图6：英文复杂推理实时样例 (2倍速播放)

下面是对高铁车票进行信息提取和相关提问：

最后，MiniCPM-Llama3-V 2.5 具有良好的多语言对话能力：

1. 多模态基础能力评测

此外，通过对比 MiniCPM-Llama3-V 2.5 和其他 3 个基于 Llama-3 8B 的开源模型，MiniCPM-Llama3-V 2.5 显示出明显的效果优势。以代表性模型 LLaVA-NeXT Llama-3 8B 为例，MiniCPM-Llama3-V 2.5 在各评测基准均实现 3 个点以上提升。值得注意的是，MiniCPM-Llama3-V 2.5 同时具有更高的推理效率。其视觉编码结果数量范围为 96-960 tokens，小于 LLaVA-NeXT Llama-3 8B 的编码结果数量范围 1728-2880 tokens，大幅降低了计算开销。

2. OCR能力评测

▲ 表2：OCR能力基准的评测结果

此外，MiniCPM-Llama3-V 2.5 也具有良好的场景文字理解能力。根据表 2 结果，MiniCPM-Llama3-V 2.5 可以取得最优的 OCRBench 效果，并在 TextVQA 和 DocVQA 上取得和 Gemini Pro、GPT-4V 有竞争力的结果。

如图 9，相较于 Yi-VL-34B，MiniCPM-Llama3-V 2.5 展示出了较优的多语言对话效果：

终端优化

▲ 图10：手机芯片视觉编码效率（448*448图片输入）和部署框架

不同于云端服务器，手机等终端设备的大模型部署往往受限于有限的内存（如 12-16GB）和更慢的芯片处理速度（如 8 核 CPU）。为了更流畅的手机多模态大模型体验，MiniCPM-Llama3-V 2.5 较为系统地通过模型量化、CPU、NPU、编译优化等高效加速技术，实现高效的终端设备部署。

如图 10 所示，CPU 是当前手机设备最普及的芯片类型。为保证兼容性，MiniCPM-Llama3-V 2.5 主要使用 CPU 进行语言模型部分部署。通过 4 比特量化和 llama.cpp 框架的配合，MiniCPM-Llama3-V 2.5 实现了每秒 8-9 tokens 的语言模型编码速度和每秒 3-4 tokens 的解码速度。

模型构建

MiniCPM-Llama3-V 2.5 的模型架构和训练方式概括如下文所示。

其中，为了应对输入图片的高分辨率和变长宽比问题，MiniCPM-Llama3-V 2.5 采用了 LLaVA-UHD 论文提出的自适应视觉编码方法。每张输入图片会首先根据其大小和长宽比计算最优切片方式，然后每个切片会根据 ViT 的预训练分辨率进行适配。最后，MiniCPM-Llama3-V 2.5 将每个处理后切片送入视觉编码器。