Attention是如何计算的

    上一篇文章讲到了，我们将文本切分成一个个token后，通过查词嵌入矩阵将token转化成了向量，在Qwen2中向量的维数3584维；为简化计算，我们假设token向量的维数为4维，下图为计算演示。

    attention的目标是在预测当前token时，我们用整个句子中的token（编码后向量）的加权平均值表示。如何计算这个值呢，我们先将token的向量转化为，Q(查询)，K(键)，V(值)三个向量。然后在计算时，我们用当前token的Q与其它token的K计算相似度score，最后把所有token的score*V的值相加，就是得到加权平均值啦。

比如：我 爱 人工智能，三个token，下面是计算score的过程：

   上面就是attention计算过程的简单描述，形式上就是做这个计算，具体包含一些优化的细节，这里不做介绍。大家有没有发现，这样计算相同的token在不同位置好像贡献没有差别哦，“我 爱 ai，我 爱 人工智能“，这两个”爱“计算出来的结果一样，为了区别所以加入了位置编码，同时位置编码也是约束大模型处理长度的重要因素，感兴趣的可以交流哦。

多头自注意力

    有了注意力，为什么要有个多头注意力啊？其实就跟人类评价一个食物一样，会从视觉、嗅觉、味觉上多个方面评价，因此注意力可不可以有多个角度呢，后面验证了从多个角度处理确实可行。具体是怎么做的呢？

    在Qwen-7B中，隐藏层的维数是3584，把它却分成28份，每份128维；将他们分别做上节介绍的attention加权平均得到28个128维的新向量；再拼接起来就又是3584维了，这样就做了多头注意力操作，是不是很简单。

Qwen2-7B中自注意力模块有多少参数

    上一篇文章中，我们计算出了Qwen2-7B中词嵌入矩阵的参数量，这篇文章中，我们来看一下其自注意力模块包含多少参数。首先我们给出其配置文件：

{  "architectures": [    "Qwen2ForCausalLM"  ],  "attention_dropout": 0.0,  "auto_map": {    "AutoModel": "modeling_qwen.Qwen2Model",    "AutoModelForCausalLM": "modeling_qwen.Qwen2ForCausalLM",    "AutoModelForSequenceClassification": "modeling_qwen.Qwen2ForSequenceClassification"  },  "bos_token_id": 151643,  "eos_token_id": 151643,  "hidden_act": "silu",  "hidden_size": 3584,  "initializer_range": 0.02,  "intermediate_size": 18944,  "max_position_embeddings": 131072,  "max_window_layers": 28,  "model_type": "qwen2",  "num_attention_heads": 28,  "num_hidden_layers": 28,  "num_key_value_heads": 4,  "rms_norm_eps": 1e-06,  "rope_theta": 1000000.0,  "sliding_window": 131072,  "tie_word_embeddings": false,  "torch_dtype": "float32",  "transformers_version": "4.41.2",  "use_cache": true,  "use_sliding_window": false,  "vocab_size": 151646}

比较重要的参数是隐藏层维度、attention中间层维数，隐藏层层数，分别为如下参数hidden_size:3584, intermediate_size:18944, num_hidden_layers: 28, num_key_value_heads：4,num_attention_heads: 28

Qwen2-7B大体采用的是左边这一半流程，attention(注意力) + Feed Forward(扩维再降维的线性变换)

# Qwen2Attentionself.num_heads = config.num_attention_heads # 28self.head_dim = self.hidden_size // self.num_heads  # 128 self.num_key_value_heads = config.num_key_value_heads # 4self.q_proj = nn.Linear(self.hidden_size, self.num_heads * self.head_dim, bias=True)self.k_proj = nn.Linear(self.hidden_size, self.num_key_value_heads * self.head_dim, bias=True)self.v_proj = nn.Linear(self.hidden_size, self.num_key_value_heads * self.head_dim, bias=True)self.o_proj = nn.Linear(self.num_heads * self.head_dim, self.hidden_size, bias=False)

    可以看出，有四个参数：q_proj, k_proj, v_proj, o_proj，前三个是用在将token向量映射为attention的输入，最后一个是将attention的输出做映射，这些操作都是为了增加语义表示，参数量qo相同kv相同，因此参数量为(还有3个bias)：

2*3584*(28*128)+ 2*3584*(4*128)+(3584+2*4*128)= 29364736

# Qwen2MLPself.gate_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.up_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.down_proj = nn.Linear(self.intermediate_size, self.hidden_size, bias=False)

    这一部分只是将上一步的输出，先扩维再降维，具体计算过程我们不关心，他有三个参数gate_proj，up_proj，down_proj, 前两个是用来升维的，后一个是用来降维的，把维数控制在3584，所以参数量为：

3*3584*18944=203685888

由于有28层堆叠，那么attention总共的参数量就是：

28*（29364736+203685888）=6525417472

即attention总共有6.52B参数，上一篇文章介绍词嵌入有0.54B参数，总共就是7.06B参数。

    Qwen2-7B的参数就是这样构成的，虽然有70亿这么多，但是理解了它的结构后，就能把握里面参数的构成，简单说就是几个大矩阵在进行变化，并不神秘。

如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用

欢迎关注我的公众号“哎呀AIYA”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的叙述，不简单的内涵，提升自己。

推荐阅读

• • 一文读懂token到底是什么鬼，消耗那么多钱？兼看国产模型收费标准| 从外到内理解大模型系列

• • 一起看大模型是什么？|从外到内理解大模型系列

• • 大模型token的漫游之旅：Word Embedding | 兼看Qwen的参数构成