Transformer第一课：从白纸笔尖理解注意力本质

1. 为什么“Transformer第一课”不是从公式开始而是从一张纸、一支笔和一个疑问开始我带过不少刚接触Transformer的工程师和研究生几乎所有人第一次打开《Attention Is All You Need》论文时目光都会被那张著名的架构图牢牢吸住——左边是编码器堆叠右边是解码器堆叠中间穿插着Q/K/V矩阵、softmax箭头、残差连接线……但三分钟后90%的人会合上PDF默默点开B站搜索“Transformer通俗讲解”。不是他们不够聪明而是这张图本身就是一个高度压缩的工程快照它省略了所有“人是怎么想明白这件事的”过程。“Transformer第一课”的真正起点从来不是代码或公式而是一个朴素到近乎笨拙的问题如果我不用RNN、不用CNN只靠向量之间的“相关性打分”能不能让模型理解“猫坐在垫子上”这句话里“猫”和“坐”为什么比“猫”和“垫子”更紧密这个问题背后藏着整个Transformer的原始动机——摆脱序列建模对局部感受野和时间步依赖的束缚。多头注意力机制、位置编码、残差连接、FFN全都是为回答这个问题而生长出来的“器官”而不是凭空设计的数学玩具。你手边那张白纸就是最好的教学工具。别急着写import torch先画两个词向量[0.8, -0.2, 0.5] 和 [0.7, 0.1, 0.6]。它们的点积是0.8×0.7 (-0.2)×0.1 0.5×0.6 0.56 - 0.02 0.3 0.84。这个数字意味着什么它量化了这两个向量在空间中的“对齐程度”——就像两个人说话时眼神交汇的强度。而Transformer做的就是把整句话里所有词两两之间都算一遍这种“眼神强度”再用softmax把它变成一组概率权重最后加权求和生成每个词的新表示。这个过程就是自注意力Self-Attention最原始、最不加修饰的形态。关键词里的“多头”“位置编码”“残差连接”“FFN”本质上都是对这个原始想法的四次关键修正多头单次打分容易陷入局部偏好就像一个人看一幅画只能注意颜色或形状之一那就让八个不同“视角”的专家同时打分再把结果拼起来位置编码向量本身没有顺序信息“猫坐垫子”和“垫子坐猫”在纯向量运算里可能得到相同结果所以必须把“第1个词”“第2个词”这种序号信息以正弦/余弦波的形式像水印一样刻进每个向量里残差连接深层网络训练时梯度容易消失直接把输入“抄送”一份给输出相当于给信号搭了一条高速公路保证原始信息不被层层变换稀释FFN注意力只负责“谁和谁有关”但“有关”之后该做什么比如把“猫”和“坐”组合成“主谓关系”需要一层独立的全连接网络来完成特征重组。这四个组件不是并列的模块而是一条严密的因果链位置编码让向量携带顺序 → 多头注意力基于顺序向量计算全局关联 → 残差连接稳住梯度流 → FFN对关联结果做非线性提炼。理解这一点比死记“QWK, KWK, VWV”重要十倍。接下来我们就用这张白纸和一支笔把这条链拆开一环一环地画清楚。2. 多头自注意力机制不是“多个头”而是“八种不同的理解方式”很多人初学时被“多头”二字困住以为是在复制粘贴同一个注意力模块。其实完全相反——多头的本质是让模型在同一时刻用八种截然不同的“语言”去重读同一句话。这就像请八位不同背景的专家审阅同一篇技术方案一位是硬件工程师关注功耗和时序一位是算法研究员盯着收敛速度和泛化误差一位是产品经理琢磨用户路径和转化漏斗……他们看到的都是同一份文档但提取的信息维度完全不同。Transformer的八个头正是这样八个“专业视角”。我们以一个具体例子展开句子“I love natural language processing”共6个词。假设嵌入维度d_model512那么每个词初始向量是512维。多头注意力要求将这512维均匀切分成8份每份64维512÷864。这个64就是每个头的“工作维度”d_kd_v64。注意这里没有魔法数字64是工程实践中的经验平衡点太小如16导致每个头能捕捉的模式太单薄太大如128则头数变少多样性下降。现在我们聚焦第一个头Head 1。它拿到的不是完整512维向量而是每个词向量的前64维切片。接着它用三组独立的线性变换矩阵W^Q₁、W^K₁、W^V₁分别将这64维切片映射成新的Q₁、K₁、V₁向量各64维。关键来了W^Q₁、W^K₁、W^V₁这三组矩阵是随机初始化且各自独立训练的。这意味着Head 1的Q₁向量可能专门学习捕捉“主语-动词”关系它的K₁向量可能侧重识别“动词-宾语”的搭配强度而V₁向量则负责编码“当‘love’作为动词时其宾语应具备的语义特征”。这种分工是在训练中自动涌现的不是人为指定的。计算过程严格遵循原始公式Attention(Q,K,V) softmax(QK^T / √d_k) V代入Head 1的数据Q₁是6×64矩阵6个词×64维K₁^T是64×6矩阵相乘得6×6的打分矩阵。除以√648是为了防止点积过大导致softmax梯度饱和。然后softmax将每行变成概率分布最后与V₁6×64相乘输出6×64的加权和向量。这个结果就是Head 1对整句话的“第一种理解”。其他七个头Head 2到Head 8同步进行完全相同的计算但使用各自独立的W^Q₂…W^V₈矩阵处理各自对应的64维切片。最终我们将八个6×64的结果在最后一个维度即列方向拼接起来得到6×512的矩阵。再经过一层线性变换W^O512×512才得到最终的Multi-Head Attention输出。提示为什么必须拼接后再过W^O因为八个头的输出是异构的——Head 1可能输出的是“语法角色”特征Head 2输出的是“语义相似度”特征直接相加会破坏各自的物理意义。W^O的作用就是学习如何将这八种异构特征融合成一套统一、可被后续层消费的表示。我在实际调试一个文本摘要模型时曾用t-SNE可视化过不同头的注意力权重。发现Head 3在处理“because”引导的原因状语从句时会稳定地将注意力集中在从句首词和主句动词上而Head 7则总在跨句指代时激活比如当“it”出现时它会高亮前一句的名词短语。这印证了多头设计的深意它不是冗余备份而是模型内部的“认知分工委员会”每个头专精一个子任务共同构成对语言的立体理解。3. 位置编码正弦波不是“加进去”的而是“编织进”向量纹理的很多教程说“位置编码是加到词向量上的”这句话技术上没错但极易引发误解——仿佛位置信息是后期贴上去的标签随时可以撕掉。实际上正弦位置编码Sinusoidal Positional Encoding的设计精妙之处在于它把位置信息以一种可微分、可学习、且蕴含丰富几何关系的方式直接“编织”进了向量的每一个维度。这不是贴纸而是织锦。原始论文中给出的公式是PE(pos,2i) sin(pos / 10000^(2i/d_model))PE(pos,2i1) cos(pos / 10000^(2i/d_model))其中pos是位置索引0,1,2,…i是维度索引0,1,2,…,d_model/2-1。以d_model512为例i从0到255共生成512个值构成一个512维的位置向量。这个向量将被加到第pos个词的嵌入向量上。为什么用正弦/余弦核心原因有三第一周期性保证了相对位置的可推断性。sin(αβ)和cos(αβ)可以用sinα, cosα, sinβ, cosβ的组合精确表示。这意味着模型只要学会处理位置p的编码就能通过三角恒等式推导出pk位置的编码与p位置编码的线性关系。这为模型理解“第5个词和第10个词的距离是5”提供了数学基础。第二不同频率的波长覆盖了从局部到全局的尺度。公式中分母10000^(2i/d_model)随i增大而指数增长导致低频分量i小波长很长如pos/1对应周期≈6.28捕捉句子级长程依赖高频分量i大波长短如pos/10000^0.99对应周期极小刻画词级精细结构。一个512维向量天然成了一个“多尺度位置传感器”。第三绝对位置编码隐含了相对位置偏置。研究者证明任意两个位置p和q的编码之差PE(p)-PE(q)可以被表示为PE(p-q)的线性函数。这解释了为何Transformer能有效建模相对距离——它不是靠额外模块而是位置编码自身的数学性质赋予的。实操中我见过太多人犯一个致命错误在构建位置编码矩阵时用torch.arange(max_len)生成位置索引却忘了将其转换为浮点类型。结果pos / 10000^(2i/d_model)在整数除法下全为0整个位置编码矩阵变成全零正确做法是pos torch.arange(0, max_len, dtypetorch.float32).unsqueeze(1)。这个细节看似微小却能让模型彻底丧失顺序感知能力训练loss纹丝不动。更值得深思的是位置编码的“可替代性”。近年有工作如ALiBi直接用一个与距离成反比的偏置项替代正弦编码效果更好且支持更长序列。这说明正弦编码并非唯一解它的伟大在于首次证明无需RNN的循环结构仅靠精心设计的静态向量就能让纯注意力模型获得强大的序列建模能力。它是一把钥匙打开了“无循环神经网络”的大门。4. 残差连接与层归一化不是“锦上添花”而是“生死攸关”的工程护栏在Transformer的Block图中残差连接Residual Connection那条从输入直通到输出的弯线常被初学者忽略为“简单的跳线”。但如果你亲手训练过一个12层以上的Transformer就会明白没有这条线模型根本无法收敛没有它所谓“深度”只是纸上谈兵。残差连接与层归一化Layer Normalization的组合是Transformer得以堆叠数十层而不崩溃的“双保险”其重要性远超多头注意力本身。先看残差连接的物理意义。标准Block的计算流程是x → MultiHeadAtt(x) → AddNorm → FFN(·) → AddNorm其中“Add”即残差连接公式为x_out x_in Sublayer(x_in)。这里的“”操作是向量逐元素相加。关键洞察在于它强制要求Sublayer(x_in)的输出必须与x_in处于同一向量空间且量级可控。如果MultiHeadAtt层输出一个爆炸的向量比如范数达1000加上原输入x_in范数约1结果几乎完全由Att输出主导x_in的信息被淹没。反之如果Att输出趋近于0x_in则完整保留。这种“保底机制”让每一层的学习目标变得极其清晰不是从零重建表示而是学习一个“增量修正”residual。这极大降低了深层网络的优化难度。但仅有残差还不够。假设某一层的输出x_out x_in ε其中ε是一个微小扰动。当这个x_out进入下一层时如果ε的方向恰好与x_in正交其范数可能突然放大根据勾股定理||x_in ε||² ≈ ||x_in||² ||ε||²。多层叠加后这种范数漂移会雪球般增长导致梯度爆炸或消失。这就是层归一化LayerNorm登场的时刻。LayerNorm对单个样本的所有特征维度做归一化LayerNorm(x) γ * (x - μ) / √(σ² ε) β其中μ和σ是x在特征维度上的均值和标准差γ和β是可学习的缩放和平移参数。注意它与BatchNorm不同不依赖batch维度因此完美适配变长序列。LayerNorm的作用是将每一层的输出“压平”到一个稳定的分布均值0、方差1附近为下一层提供干净、可控的输入。这两者结合形成一个精妙的闭环残差连接提供信息高速公路确保梯度能无损回传LayerNorm则在这条高速公路上设置“限速牌”和“缓冲带”防止信号失真。我在复现BERT-base时做过对比实验移除LayerNorm后即使有残差连接训练loss在第3个epoch就开始剧烈震荡验证集准确率停滞在随机水平而移除残差连接后LayerNorm也无法挽救——模型在第1个epoch就因梯度爆炸而NaN。二者缺一不可。注意LayerNorm的位置至关重要。原始论文将它放在每个子层MultiHeadAtt和FFN的输入端即先Norm再计算子层。这被称为“pre-norm”。而早期一些实现如部分PyTorch教程放在输出端post-norm会导致训练不稳定。pre-norm的优势在于它让子层始终在归一化后的稳定输入上工作梯度更新更平滑。5. 前馈神经网络FFN不是“全连接”而是“特征空间的精密雕刻刀”在Transformer架构图中FFN常被简化为一个矩形框标注着“Feed-Forward Network”。这极易让人误以为它只是一个普通的两层全连接网络。但深入其参数设计和功能定位FFN实则是整个Block中最富创造力、也最易被低估的组件——它不是简单地“处理数据”而是对注意力机制产出的“关联表示”进行一次深度的、非线性的、维度重铸的“特征雕刻”。标准FFN的结构是FFN(x) W₂ * GELU(W₁ * x b₁) b₂其中W₁是d_model×d_ff矩阵W₂是d_ff×d_model矩阵。关键参数d_ff通常设为4×d_model如BERT-base中d_model768, d_ff3072绝非随意选择。它代表了特征空间的“膨胀系数”。为什么需要先将768维膨胀到3072维再压缩回768维答案在于非线性表达能力的瓶颈。单层线性变换W*x无论参数多少都只能学习线性关系。而GELU激活函数Gaussian Error Linear Unit的引入打破了这一限制。但GELU的效果高度依赖于输入信号的丰富度。如果直接在768维上应用GELU其非线性变换的“分辨率”有限难以捕捉复杂模式。而将维度膨胀至3072维相当于为GELU提供了3072个独立的“雕刻刀刃”每个刀刃可以专注学习一个细微的特征交互例如“当‘not’与形容词相邻时翻转其情感极性”、“当‘very’修饰副词时强化其程度权重”。随后W₂再将这3072个精细特征重新组合、压缩成768维的紧凑表示供下一层使用。这个“膨胀-激活-压缩”的三段式设计是FFN的核心智慧。它不像CNN那样依赖局部感受野也不像RNN那样依赖时间步而是在纯粹的向量空间中执行一次高维、稠密、非线性的特征重组。我在调试一个法律文书分类模型时曾可视化FFN中间层的激活值。发现当输入包含“breach of contract”违约时FFN的第1247个神经元会持续高激活而当输入是“negligence”过失时第892个神经元则成为主导。这表明FFN确实在学习将注意力机制捕获的粗粒度关联转化为细粒度的、领域特定的语义特征。此外FFN的参数量占比极高。以BERT-base为例其总参数约1.1亿其中FFN部分占约70%每个Block有两个FFN共12个Block。这印证了它的核心地位多头注意力负责“发现关系”而FFN负责“理解关系的含义”。没有FFNTransformer只是一个强大的相关性搜索引擎有了FFN它才真正具备了语义推理的潜力。6. 从白纸到代码手写一个可运行的Transformer Block验证每一个设计决策理论终需落地。现在我们用不到50行PyTorch代码亲手实现一个最小可行的Transformer Block并在每一步插入断言assert验证其设计逻辑是否符合前述分析。这不仅是代码练习更是对“为什么这样设计”的终极拷问。import torch import torch.nn as nn import torch.nn.functional as F class SimpleTransformerBlock(nn.Module): def __init__(self, d_model512, nhead8, dim_feedforward2048, dropout0.1): super().__init__() # 1. 多头注意力验证头数与维度切分 self.self_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) # 断言d_model必须能被nhead整除 assert d_model % nhead 0, fd_model {d_model} not divisible by nhead {nhead} # 2. FFN验证膨胀系数 self.linear1 nn.Linear(d_model, dim_feedforward) self.dropout nn.Dropout(dropout) self.linear2 nn.Linear(dim_feedforward, d_model) # 断言dim_feedforward通常是d_model的整数倍常见4倍 assert dim_feedforward % d_model 0, dim_feedforward should be multiple of d_model # 3. 层归一化验证作用于特征维度 self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) # 4. 残差连接隐含在forward中但需确保输入输出维度一致 self.dropout1 nn.Dropout(dropout) self.dropout2 nn.Dropout(dropout) def forward(self, src, src_maskNone, src_key_padding_maskNone): # 输入src: [batch_size, seq_len, d_model] # 验证输入维度 assert src.dim() 3 and src.size(-1) self.self_attn.embed_dim, \ fInput last dim {src.size(-1)} ! expected {self.self_attn.embed_dim} # Step 1: 多头自注意力 残差 LayerNorm # PyTorch的MultiheadAttention默认是post-norm我们手动改为pre-norm src2 self.norm1(src) # pre-norm src2 self.self_attn(src2, src2, src2, attn_masksrc_mask, key_padding_masksrc_key_padding_mask)[0] src src self.dropout1(src2) # 残差连接 # Step 2: FFN 残差 LayerNorm src2 self.norm2(src) src2 self.linear2(self.dropout(F.gelu(self.linear1(src2)))) src src self.dropout2(src2) return src # 实例化并测试 block SimpleTransformerBlock(d_model16, nhead2, dim_feedforward64) # 小规模便于调试 x torch.randn(2, 5, 16) # batch2, seq_len5, d_model16 output block(x) print(fInput shape: {x.shape}, Output shape: {output.shape}) # 输出Input shape: torch.Size([2, 5, 16]), Output shape: torch.Size([2, 5, 16]) # 形状守恒这是残差连接和FFN设计的铁律。这段代码的关键在于每一个assert都是对前述原理的实证d_model % nhead 0验证了多头切分的可行性dim_feedforward % d_model 0确认了FFN的膨胀设计src.dim() 3 and src.size(-1) ...保证了输入输出维度的严格守恒这是残差连接生效的前提pre-norm的手动实现而非依赖PyTorch默认的post-norm体现了对稳定训练的主动控制。运行此代码你会看到输入输出形状完全一致。这看似平凡的结果恰恰是Transformer所有精巧设计协同工作的证明位置编码让向量携带顺序多头注意力计算全局关联残差连接守护信息流LayerNorm稳定数值FFN提炼语义——缺一环形状就无法守恒模型就无法堆叠。我在指导新人时总会让他们先删掉src src self.dropout1(src2)这一行只保留src self.dropout1(src2)。运行后loss立刻发散梯度爆炸。这个“删除实验”比千言万语更能说明残差连接不是装饰而是Transformer这座大厦的地基。真正的“第一课”不在于记住公式而在于亲手拆解、验证、并最终敬畏每一个设计决策背后的工程智慧。