我要投稿

成果分享 | “读懂地图”的多模态大模型MapReader

发布日期：2024-09-30 07:19:03 浏览次数： 1698 来源：地图可视化

“读懂地图”的多模态大模型MapReader

成果负责人

禹文豪，中国地质大学（武汉）地理与信息工程学院，教授，博士生导师，主要从事地图综合、空间数据挖掘及大模型等研究。（联系邮箱：yuwh@cug.edu.cn；个人网站：

http://grzy.cug.edu.cn/yuwenhao/zh_CN/index.htm）

系统演示链接

网址：https://www.bilibili.com/video/BV1dpszeoEew（点击左下“阅读原文”可直接访问）。

成果介绍

比较自然图片，地图在符号、文字注释、幅面等方面均有其特殊性，一般大模型难以理解其高度抽象的表达形式和内容，亟需建立专业的地图分析大模型与软件系统。MapReader是一个用于地图分析的大型视觉语言模型，在识别地理对象及其空间关系等方面取得了显著改进，其可提供比一般视觉语言模型更详细的地图内容描述。该模型的参数规模为17B（170亿），主要由两个核心组件构成：Vision Transformer (ViT) 编码器和预训练的大型语言模型（LLM）。ViT负责接收图像数据并将其处理为视觉特征，而LLM则利用这些视觉特征和文本嵌入生成符合要求的文本。在此过程中，我们使用EVA2-CLIP-E作为ViT编码器，Vicuna1.5-7B作为LLM。为了使模型适应地图领域，我们收集了2000对高质量的地图文本对数据进行微调。训练策略采用了LoRA微调，将LoRA应用于ViT和LLM。ViT中的附加分支通道旨在增强大模型对地图样式的理解，而LLM中的附加分支通道则专注于学习专业地图描述的风格。具体而言，LoRA被应用于ViT编码器的每个Transformer层，以及LLM中的Q、K和V矩阵和多头自注意力层。这一策略有效减少了训练所需的参数数量，从而降低了计算成本。MapReader处理的最大目标长度为2048个tokens。预训练过程在4个A100 GPU上进行。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

GPT-4 和 GPT-4o的主要区别

2024-09-12

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

企业如何构建大模型营销体系：架构与实战

2024-07-07

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

大家都在问

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

商汤大模型的「5o」交互，普通人如何和 AI 过一天？

2024-07-10

实测：开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？

2024-07-02

AI结合游戏NPC会发生什么？

2024-06-29

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯