目录
第一课里,我们把 Transformer 当成一个“上下文加工器”:Token 进入之前只有初始 Embedding,出来之后却带上了整句话的信息。
这个变化是怎么发生的?关键就在 Attention。
例如:
小猫趴在窗边,因为它喜欢晒太阳
读到“它”时,我们会自然地联系前面的“小猫”。Attention 做的事情很接近:让当前 Token 在上下文中寻找与自己有关的信息,并按重要程度取回来。
Query 提出问题,Key 用来匹配,Value 提供真正要取走的信息。
1、为什么需要 Attention?
Embedding 查表时,同一个 Token 总会拿到同一份初始向量。它还不知道自己出现在什么句子里。
“苹果”可以是水果,也可以是公司;“它”可能指小猫,也可能指窗户。要判断当前含义,一个 Token 必须参考上下文中的其他 Token。
但不是所有词都同样重要。理解“它”时,“小猫”的信息通常比“窗边”更关键。Attention 的任务就是:
- 算出当前 Token 与其他 Token 的相关程度。
- 按相关程度,从其他 Token 中提取信息。
2、Q、K、V 分别是什么?
假设输入向量为 $X$,模型通过三个不同的线性变换,得到 Query、Key 和 Value:
\[Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V\]$W_Q$、$W_K$、$W_V$ 都是训练得到的参数。
可以这样理解三者的分工:
| 名称 | 问的问题 | 直观作用 |
|---|---|---|
| Query | 我现在需要什么信息? | 发起搜索 |
| Key | 我这里有什么特征? | 接受匹配 |
| Value | 如果选中我,要取走什么? | 提供内容 |
以“它”为例:“它”的 Query 会与前面所有 Token 的 Key 比较;如果“小猫”的 Key 更匹配,它对应的 Value 就会被赋予更高权重。
Key 与 Value 来自同一个 Token,但用途不同:Key 负责判断“要不要看我”,Value 负责回答“看我以后能拿走什么”。
Q、K、V 一定要用三组参数吗?
读到这里,容易产生一个疑问:既然 Attention 只需解决“从哪里取信息”和“取什么信息”,能否用一个矩阵,或者只用 Q 和 V 两个矩阵?可以。三组独立投影是常见设计,并非 Attention 成立的数学前提。
例如,让 Q 和 K 共用同一个矩阵 $W$,V 仍使用 $W_V$:
\[q_i=Wx_i,\qquad k_j=Wx_j,\qquad v_j=W_Vx_j\]当前位置 $i$ 用 $q_i$ 与位置 $j$ 的 $k_j$ 算匹配分数,再按分数汇总 $v_j$。这样只需两组投影参数,仍然能完成信息选择和传递。只用一组矩阵也能计算:同一向量既用于匹配,也作为被汇总的内容;但匹配规则和传递的内容就被绑在了一起。
接着会问:Q、K 共用 $W$,效果会变差吗?不一定。它减少了参数,也限制了可学习的匹配方式。暂时忽略位置处理和 Mask 时,共用投影产生的原始分数为:
\[s_{ij}=(Wx_i)^T(Wx_j)=x_i^TW^TWx_j=s_{ji}\]也就是说,$i$ 对 $j$ 与 $j$ 对 $i$ 的原始分数相同。独立的 $W_Q$、$W_K$ 没有这个限制,因此能更直接地表达方向不同的匹配关系。不过,原始分数相同不代表最终注意力权重相同:Softmax 按行计算,自回归生成时还会加入 Causal Mask。
已有实验说明,共享 Q/K 可以保持有竞争力的表现:Reformer 的共享 Q/K 实验没有发现其测试任务上的明显退化;一项系统比较 QKV 投影共享方式的研究也报告,在所测任务中,共享方案可以接近或超过三投影方案。这不保证所有模型和任务都一样。实际是否值得共享,要同时比较目标任务的质量、参数量和推理成本。
3、算出相关性分数
Query 与 Key 的匹配程度通常用点积计算:
\[Scores=QK^T\]点积越大,通常表示当前 Query 与这个 Key 越匹配。
实际公式还会除以 $\sqrt{d_k}$:
\[Scores=\frac{QK^T}{\sqrt{d_k}}\]$d_k$ 是 Key 的维度。维度很大时,点积的绝对值容易变大,使 Softmax 过于尖锐,不利于训练。缩放可以让数值更稳定。
如果序列长度为 $T$,那么所有 Query 与所有 Key 两两比较,会得到一个 $T\times T$ 的 Attention Score Matrix。
4、Mask:不看未来
大模型生成文本时,当前位置只能依赖自己和前面的 Token,不能偷看尚未生成的内容。
因此,模型会在 Softmax 之前加入 Causal Mask。未来位置的分数被设成一个极小值,可以近似理解为 $-\infty$:
可见:当前位置及之前的 Token
遮住:当前位置之后的 Token
经过 Softmax 后,这些未来位置的概率就会变成 0。
矩阵因此呈下三角形:第一项只能看自己,第二项能看前两项,越靠后能看到的历史越多。
5、Softmax 与加权求和
相关性分数还是任意实数,不方便直接当权重。Softmax 会把每一行转换成总和为 1 的概率分布:
\[A=Softmax\left(\frac{QK^T}{\sqrt{d_k}}+Mask\right)\]假设“它”对前文的注意力权重为:
| Token | 小猫 | 趴在 | 窗边 | 因为 | 它 |
|---|---|---|---|---|---|
| 权重 | 0.56 | 0.08 | 0.12 | 0.09 | 0.15 |
“小猫”的权重最高,表示模型在处理“它”时更重视“小猫”的信息。
最后,用这些权重对所有 Value 做加权求和:
\[Attention(Q,K,V)=A V\]得到的新向量不再只表示“它”,而是混入了“小猫”“窗边”等上下文信息。这就是 Contextual Representation 的来源之一。
6、Multi-Head:多种角度看信息
一次 Attention 只能在一个表示空间里计算关系。实际 Transformer 会并行计算多组 Attention,也就是 Multi-Head Attention。
不同 Head 没有人工规定的固定职责,但训练后可能关注不同类型的关系,例如:
- 有的 Head 更关注指代关系。
- 有的 Head 更关注相邻词。
- 有的 Head 更关注语法结构或长距离依赖。
各个 Head 的结果会拼接起来,再经过一次线性变换:
\[MultiHead(Q,K,V)=Concat(head_1,\ldots,head_h)W_O\]本课只需要记住:多个 Head 让模型能同时从不同角度组织上下文信息。
一次完整计算
| 阶段 | 计算 | 典型形状 |
|---|---|---|
| 输入 | Token 向量 $X$ | $[B,T,d_{model}]$ |
| 线性投影 | $Q=XW_Q, K=XW_K, V=XW_V$ | $[B,h,T,d_k]$ |
| 相关性 | $QK^T/\sqrt{d_k}$ | $[B,h,T,T]$ |
| Mask + Softmax | 得到注意力权重 $A$ | $[B,h,T,T]$ |
| 加权求和 | $AV$ | $[B,h,T,d_v]$ |
| 合并 Heads | $Concat(heads)W_O$ | $[B,T,d_{model}]$ |
输入和输出的整体形状相同,但每个 Token 的向量已经吸收了上下文信息。
Attention 不是什么?
Attention Weight 能帮助我们观察模型在当前计算中更重视哪些位置,但它不等于完整的“思考过程”,也不能直接当作因果解释。
另外,Attention 并不负责整个 Transformer 的全部计算。它完成 Token 之间的信息交换,后面的 FFN 还会继续处理每个位置的信息。
记住这 5 件事
- Query 用来发起匹配,Key 用来被匹配,Value 提供真正的信息。
- $QK^T$ 计算 Token 之间的相关性。
- 除以 $\sqrt{d_k}$ 是为了让数值和训练更稳定。
- Causal Mask 保证生成时不能看到未来 Token。
- Softmax 权重乘以 Value,得到结合上下文的新表示。
第二课复习总图
下一课,我们可以继续看:模型既然一次只预测一个 Token,训练时是怎样学会这件事的?