一口气讲清楚：向量库、训练集、多模态

推荐语

探索AI大模型背后的技术核心，深入了解向量库、训练集和多模态的奥秘。

核心内容：
1. 向量库的定义、特性及其在AI中的关键作用
2. 训练集在AI大模型训练过程中的重要性
3. 多模态技术如何实现跨模态数据的关联与检索

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

这是“一口气讲清楚”AI系列第三篇文章。

前面两篇文章，分别介绍了AGI、RAG、AIGC、LLM、MCP、EMB这六个在AI大模型领域的核心术语。想要真正了解AI大模型及各种工具的特点和原理，离不开这六个专业术语。

但如果想要进一步深入理解大模型的实现原理和当前阶段的大模型特性，就需要进一步了解它的训练过程，那这个时候就离不开这三个专业术语：向量库、训练集、多模态。

这篇文章，我会尽量用通俗易懂的语言，讲清楚这三个术语的含义，它的作用和背后的技术原理，帮助大家更好地理解AI。

一、向量库：Vector Database

向量库(Vector Database)是一种专门用于存储、管理和检索向量数据的数据库系统。

在人工智能领域，向量的定义通常指通过模型(如BERT、ResNet)将文本、图像、音频等非结构化数据转换为高维数值表示(例如由数百或数千个数值组成的序列)。这种转换称为嵌入(即前面提到的EMB)，旨在捕捉数据的语义或特征信息。

你可以理解为，向量化的过程类似于大数据领域的数据清洗，核心有两点：统一数据格式、统一存储。

例如：一段文本内容“可爱的猫咪”经过嵌入处理后，可能变成类似“[0.2, -1.3, 0.8, ..., 0.5]”的向量。而向量库的核心功能就是通过数学方法快速找到与用户输入的提示词(也称之为查询向量)相似的存储于向量库中的向量。

这里的快速检索相似向量的方法，类似于传统数据库中的索引功能。

1、向量库的核心特性

• 高效相似性搜索：支持近似最近邻搜索(ANN)，通过索引优化(如HNSW、IVF)实现毫秒级响应。
• 高维数据处理：可管理数百至数千维的向量，适用于图像特征、文本语义等复杂数据的存储。
• 实时性与可扩展性：支持动态插入、更新数据，并通过分布式架构横向扩展，满足大数据场景需求。
• 多模态支持：统一存储文本、图像、视频等不同模态的向量，实现跨模态检索(如用文字搜索图片)。
• 与传统数据库互补：在支持CRUD操作的基础上，强化了基于语义或特征的搜索能力，而非精确匹配。

2、向量库的核心作用

• 加速AI模型应用：大模型(如DeepSeek)生成的向量需要高效检索支持，例如在问答系统中快速匹配相关知识片段。
• 处理非结构化数据：将图像、文本等非结构化数据转化为向量，使其可被计算机分析和应用。
• 语义理解与上下文关联：通过向量相似性捕捉语义关系，例如判断“苹果”在“水果”和“手机品牌”中的不同含义。
• 降低计算成本：通过预计算和索引优化，减少模型实时推理的压力。

3、向量库的使用场景

假设你要在电商平台搜索男士运动鞋，上传了一张自己鞋子的照片进行搜索，下面是AI搜索并返回结果的过程：

• 向量化：平台用ResNet模型将图片转换为一个512维的向量。 
• 检索存储向量：向量库通过余弦相似度计算，快速找到商品库中特征最接近的鞋子向量。 
• 返回结果：展示相似商品，如“Nike Air Force 1”。

4、向量库的主流工具选型

• 开源工具：FAISS(Meta开发，适合中小规模)、Milvus(分布式架构，支持亿级数据)。 
• 云服务工具：腾讯云VectorDB(高可用、低延迟)、Pinecone(全托管，适合快速部署)。

工具选型的关键在于，支持的数据规模大小、数据检索时延(RT)、向量库的运维管理成本。

二、训练集：Training Set

训练集(Training Set)是机器学习中用于训练模型的数据集合，包含输入样本及对应的输出标签(特指监督学习)。

核心作用是让模型通过学习集合中的输入特征与目标变量之间的关联规律，不断调整模型本身的参数，进而做出预测(大模型是一个概率预测机器，通过解析用户输入内容，进行向量化，然后在向量库进行相似性检索，最终输出用户可能需要的答案)。

一句话概括：让模型通过大量数据训练，掌握数据关联逻辑，然后做出决策。

1、训练集的核心特点

• 代表性：必须涵盖模型可能遇到的所有场景(目前我们熟知的大模型大多是通用大模型，即全能型选手)。
• 标记准确性：监督学习的训练集标签必须正确(比如将输入样本“猫”标注为“狗”，模型就会学习错误规律，导致预测失效)。
• 充足性：样本数量需要足够多(大模型并不像人类具有联想能力，它只会死记硬背，无法幻想)。
• 相关性与均匀性：训练集数据必须与训练任务目标直接相关(人脸识别不能包含动物图片)，且数据分布需要保持均衡(金融交易训练集中，买入卖出样本比例需要接近真实情况，避免产生偏差，这也是量化交易的训练核心)。
• 复杂性：训练集需要包含边界值和脏数据(比如智能驾驶训练过程，要包含极端天气和复杂路况，不能只在无人的高速大直道训练)。

2、训练集的核心作用

• 参数学习的基础：模型通过训练集调整权重参数。
• 模式发现与规律提炼：模型从数据中提取关键特征。
• 泛化能力的基石：高质量训练集使模型在面对新数据时保持高准确率。
• 过拟合与欠拟合的平衡：充足且多样的数据可以减少过拟合风险，如果数据量不足或质量差会导致欠拟合(模型没有学习到数据关联逻辑)。

3、训练集的典型应用场景

我们所熟知的智能驾驶、图片分类、短视频推荐、文生内容(包含文生文、图、视频)等领域的大模型都经过了大量高质量数据的长期训练，才能具备现在的能力。

4、构建数据集的注意事项

• 数据划分比例：常见比例为8:2(80%训练20%测试)，复杂的模型可以步拆分为6:2:2(60%训练20%验证20%测试)。
• 数据增强技术：通过旋转、裁剪、噪声添加等方式扩展数据集，这点比较适用于数据不足的场景。
• 避免数据泄漏：训练集与测试集需要严格隔离，否则测试数据混入训练过程，则会导致模型评估结果偏离。
• 持续迭代更新：模型部署后，需要定期用新数据更新训练集以适应环境变化(比如病毒库、垃圾邮件、专业论文)。

一句话总结训练集核心：训练集的数据质量直接决定大模型的输出准确性，高质量数据的重要性可见一斑。这也是前两年各大图书馆的电子数据和专业实验室的数据被各个AI公司高价购买的原因。

三、多模态：Multimodal

多模态(Multimodal)指的是系统能同时处理和理解不同来源或类型的数据(文本、图像、音频、视频、传感器数据)的能力。

多模态技术的核心目标，是通过跨模态的关联与融合，模拟人类通过多种感官(视觉、听觉、触觉等)感知世界的方式，从而实现对复杂信息的全面理解与交互。

比如人与人沟通时，会通过语言、眼神、肢体动作和表情甚至借助其他工具来尽可能让对方理解自己的想法。而多模态的目的就是希望让工具/机器具备类似的能力，综合多种输入形式作出更准确的决策。

1、多模态技术的主要特点

• 跨模态理解：识别不同模态之间的关联和互补性(如图文互译：将文本“一只猫在草地上”生成图片，或反过来)。 
• 多层次数据融合：在不同特征层面进行数据融合(如自动驾驶系统融合摄像头图像、雷达信号和GPS定位数据，提升环境感知的准确性，最终实现自动加速减速和避开障碍物)。
• 端到端学习：直接从原始多模态数据中学习，无需人工设计特征提取步骤(如智能会议场景，AI可以同时进行画面(根据人脸识别发言人)和声音识别并生成会议纪要)。
• 增强鲁棒性与适应性：多模态系统在部分模态数据缺失时仍能有效运作(如智能驾驶领域，即使大雾天气也可以通过激光摄像头来进行路线规划和障碍识别，而非纯靠视觉)。
• 拟人的信息处理方式：通过整合多种感官输入，多模态AI能更自然地与用户交互(如智能家居领域)。

2、多模态技术的核心作用

• 提升信息理解的全面性与准确性：单一模态的信息可能不完整或存在歧义(如医疗诊断场景，结合CT影响和患者病史以及门诊录音，可以提高诊断准确性)。
• 推动通用人工智能(AGI)发展：多模态是实现AGI的必经之路。
• 优化用户体验与交互效率：支持多种输入方(语音、文字、手势)降低使用门槛。
• 创造新型应用场景：多模态技术催生了虚拟人、AIGC(生成式AI)、全屋智能等创新应用。

3、通俗易懂的实例说明

假设你通过手机拍摄衣橱中的衣服并提问：“明天去郊游，如何搭配”？拥有多模态能力的AI助手会这样思考并回答你： 

• 视觉分析：识别衣物类型(如T恤、牛仔裤)、颜色和材质。 
• 文本理解：解析“郊游”场景需求(需舒适、防晒、耐脏)。 
• 环境数据融合：结合天气预报(晴天、阴天、下雨)建议防晒帽。 
• 跨模态生成：输出图文搭配建议(如“白色T恤+卡其裤+帆布鞋”)并推荐购买链接。 

4、多模态技术的应用场景

• 医疗健康：结合CT影像、患者病历和语音问诊记录生成诊断报告。
• 内容创作：输入文本生成配套图片、视频和音乐(如AI生成广告素材)。
• 智能驾驶：融合摄像头图像、雷达信号和GPS定位，实现导航与障碍物避让。
• 智能家居：通过语音指令控制灯光(听觉)、手势调节温度(视觉)、传感器检测室内环境。