嵌入——Embedding，可能有些人了解过这个词，也可能没了解过这个词；但不管怎么说，嵌入在大模型技术中扮演着非常重要的角色；它是很多上层技术的基础。

大模型的底层数学结构是向量，而由于计算机只能进行数值计算；因此向量在计算机中是通过矩阵结构进行表示的，优点就在于计算简单；并且能进行升维和降维操作。

嵌入就是把数据（包括文本，图像，音视频等多种模态的数据）向量化表示的技术！！！

今天在研究RAG技术的时候，一直在思考一个问题，嵌入；在RAG的流程中，第一步是文档加载，第二步就是文档切片然后调用嵌入模型把文档转化为向量模式。

所以，这里就产生了一个问题，那就是这个嵌入过程是什么样的？简单来说就是怎么把文本或图片等多种模态的数据，通过嵌入模型转化为向量数据？

嵌入模型不仅仅只是把文本或图片转换成向量模式，还有更重要的一点就是要保证嵌入文本的语义关系。所以，这个都是怎么实现的？

在文档分割的过程中，有一个很重要的环节就是文档切分，文档切分的不同方式直接影响到嵌入向量的语义效果；因此，在RAG中嵌入模型很重要，文档切分也同样重要。

在大模型中，比如以Transformer架构为例，其使用了自注意力机制来保证文档语义的连贯性；但文档数据输入大模型之前，同样必须转化为向量格式的数据才能被大模型所识别，然后进行处理。

但文档在输入大模型之前转换的向量是没有语义关系的；所以，大家是否发现大模型训练和嵌入大模型的区别？

普通大模型训练是学习文档中的语义关系；而嵌入模型是接受一个文档作为输入，然后根据自己习得的参数对文档进行语义转换，然后输出一段有语义关系的向量数据。

而文档中语义之间的关系，经过向量化之后是通过向量之间的数学关系来表示的；比如欧式距离，余弦值等。

关于文档向量化的过程，除了采用嵌入模型之外，还有其它多种方式来实现；比如说，One-Hot独热编码和词袋模型等；只不过热独编码和词袋模型无法保证文档的语义关系，虽然其也构建了词汇表，但每个词都是独立的，没有任何数学上的关系体现。

这篇文章说是介绍嵌入，不如说是自己思考问题的记录；今天看了大半天的嵌入问题，也查了很多资料；但总觉得是在雾里看花，很多问题都不明白，也抓不着重点。

记录几个问题：

嵌入是怎么理解语义的？ 

大模型是怎么理解语义的？ 

分块对语义的影响以及原因是什么？ 

大模型训练的参数与语义理解的关系？

向量 矩阵 embedding transformer架构之间的关系是什么？