粤ICP备17114055号
微信扫码
和创始人交个朋友
支持私有云部署
我要投稿
成果负责人
禹文豪，中国地质大学（武汉）地理与信息工程学院，教授，博士生导师，主要从事地图综合、空间数据挖掘及大模型等研究。（联系邮箱：yuwh@cug.edu.cn；个人网站：
http://grzy.cug.edu.cn/yuwenhao/zh_CN/index.htm）
系统演示链接
网址：https://www.bilibili.com/video/BV1dpszeoEew（点击左下“阅读原文”可直接访问）。
成果介绍
比较自然图片，地图在符号、文字注释、幅面等方面均有其特殊性，一般大模型难以理解其高度抽象的表达形式和内容，亟需建立专业的地图分析大模型与软件系统。MapReader是一个用于地图分析的大型视觉语言模型，在识别地理对象及其空间关系等方面取得了显著改进，其可提供比一般视觉语言模型更详细的地图内容描述。该模型的参数规模为17B（170亿），主要由两个核心组件构成：Vision Transformer (ViT) 编码器和预训练的大型语言模型（LLM）。ViT负责接收图像数据并将其处理为视觉特征，而LLM则利用这些视觉特征和文本嵌入生成符合要求的文本。在此过程中，我们使用EVA2-CLIP-E作为ViT编码器，Vicuna1.5-7B作为LLM。为了使模型适应地图领域，我们收集了2000对高质量的地图文本对数据进行微调。训练策略采用了LoRA微调，将LoRA应用于ViT和LLM。ViT中的附加分支通道旨在增强大模型对地图样式的理解，而LLM中的附加分支通道则专注于学习专业地图描述的风格。具体而言，LoRA被应用于ViT编码器的每个Transformer层，以及LLM中的Q、K和V矩阵和多头自注意力层。这一策略有效减少了训练所需的参数数量，从而降低了计算成本。MapReader处理的最大目标长度为2048个tokens。预训练过程在4个A100 GPU上进行。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-02-22
DeepSeek热潮背后，企业如何用多模态数据构建核心竞争力
2025-02-22
MNN 手机本地部署 DeepSeek R1 和多模态大模型，告别服务器繁忙！
2025-02-21
多模态RAG技术：从语义抽取到VLM应用与规模化挑战
2025-02-20
考拉悠然：智能化管理，为AI产业化落地打造数字新基座
2025-02-20
基于LLM打造沉浸式3D世界
2025-02-11
使用Dify为DeepSeek-R1添加多模态功能
2025-02-10
从0到1：用飞书多维表格与AI轻松构建个性化应用产品【实操指南】
2025-02-10
kimi1.5技术报告解读，你想了解的都在这里
2024-09-12
2024-06-14
2024-08-06
2024-05-30
2024-06-17
2024-08-30
2024-11-28
2024-04-21
2024-10-16
2024-06-26
回到顶部