粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
“ 嵌入是大模型的基础，而嵌入的底层结构就是向量，而表示方式就是矩阵 ”
嵌入——Embedding，可能有些人了解过这个词，也可能没了解过这个词；但不管怎么说，嵌入在大模型技术中扮演着非常重要的角色；它是很多上层技术的基础。
大模型的底层数学结构是向量，而由于计算机只能进行数值计算；因此向量在计算机中是通过矩阵结构进行表示的，优点就在于计算简单；并且能进行升维和降维操作。
嵌入就是把数据（包括文本，图像，音视频等多种模态的数据）向量化表示的技术！！！
大模型之嵌入——Embedding
今天在研究RAG技术的时候，一直在思考一个问题，嵌入；在RAG的流程中，第一步是文档加载，第二步就是文档切片然后调用嵌入模型把文档转化为向量模式。
所以，这里就产生了一个问题，那就是这个嵌入过程是什么样的？简单来说就是怎么把文本或图片等多种模态的数据，通过嵌入模型转化为向量数据？
嵌入模型不仅仅只是把文本或图片转换成向量模式，还有更重要的一点就是要保证嵌入文本的语义关系。所以，这个都是怎么实现的？
在文档分割的过程中，有一个很重要的环节就是文档切分，文档切分的不同方式直接影响到嵌入向量的语义效果；因此，在RAG中嵌入模型很重要，文档切分也同样重要。
在大模型中，比如以Transformer架构为例，其使用了自注意力机制来保证文档语义的连贯性；但文档数据输入大模型之前，同样必须转化为向量格式的数据才能被大模型所识别，然后进行处理。
但文档在输入大模型之前转换的向量是没有语义关系的；所以，大家是否发现大模型训练和嵌入大模型的区别？
普通大模型训练是学习文档中的语义关系；而嵌入模型是接受一个文档作为输入，然后根据自己习得的参数对文档进行语义转换，然后输出一段有语义关系的向量数据。
而文档中语义之间的关系，经过向量化之后是通过向量之间的数学关系来表示的；比如欧式距离，余弦值等。
关于文档向量化的过程，除了采用嵌入模型之外，还有其它多种方式来实现；比如说，One-Hot独热编码和词袋模型等；只不过热独编码和词袋模型无法保证文档的语义关系，虽然其也构建了词汇表，但每个词都是独立的，没有任何数学上的关系体现。
这篇文章说是介绍嵌入，不如说是自己思考问题的记录；今天看了大半天的嵌入问题，也查了很多资料；但总觉得是在雾里看花，很多问题都不明白，也抓不着重点。
记录几个问题：
嵌入是怎么理解语义的？
大模型是怎么理解语义的？
分块对语义的影响以及原因是什么？
大模型训练的参数与语义理解的关系？
向量 矩阵 embedding transformer架构之间的关系是什么？
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-25
哇！首个MCPBench来了，MCP竟然不比Function Calls更有优势？ | 最新
2025-04-25
医疗大模型案例分析（一）：Google Med-PaLM
2025-04-25
vLLM+Qwen-32B+Open Web UI构建本地私有大模型
2025-04-25
AI产品经理思考MCP（3）：MCP的未来可能
2025-04-25
AI产品经理思考MCP协议（2）：标准化的必要性
2025-04-25
AI产品经理思考MCP协议（1）：预见MCP——我的“万能库”与标准化之路
2025-04-24
温度参数：调节AI输出的确定性与创造性平衡
2025-04-24
从搜索到解决方案：解锁火山 DeepSearch 的“三连跳” MCP 玩法
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
回到顶部