T31 · 一行读取以后，怎样走完一个 Transformer 层？

只有attention还不能代表完整Transformer层。这里沿给这个位置的一行说明跨位置读取、保留原表示与逐位置加工怎样配合。

状态 b0

两头各自有Q/K/V参数，均为同一给位置产生输出；不预设头的语义职能。

状态 b1

拼接同一token的多头结果并乘W_O，不把相邻token拼成一行。

状态 b2

x_i+O_i后做LayerNorm；统计范围框住同一token的四个特征。

状态 b3

4→6→ReLU→4的逐位置加工，示例负坐标−0.6归零；各位置共享这套FFN参数。

状态 b4

完整post-norm顺序为多头+W_O、Add/LN、FFN、Add/LN。第二条残差保留u_i，形成下一层输入。

公式与算例详情

默认图不把九单位翻译母例假装成旧数值BLOCK的一次运行。FFN中−0.6→0只是一个给定的标量ReLU演示；4→6→4呈现扩维、非线性和降维职责。真实FFN可写为max(0,uW₁+b₁)W₂+b₂，参数在位置间共享。

旧三位置我／给／书、宽4、两头×宽2的完整数值BLOCK原样保留在S23/b0–b5、transformer-information-flow主题与原Notebook。其dropout关闭，LayerNorm ε=10⁻⁵、γ=1、β=0；所有原W_Q/W_K/W_V/W_O/W₁/W₂及输出账本不变。可进入旧页面逐项核算，不能说默认课堂已经逐项朗读过六位小数。

完整公式：O=MHA(X)，u=LN(X+O)，Z=LN(u+FFN(u))。LayerNorm逐token沿特征维归一化；FFN对每行独立使用共享参数。多头拼接沿特征轴，W_O混合头输出。

继续学习

让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block

在已经认识的 block 上读懂现代部件 · LAB03：F · 跟着一个 token 穿过完整 encoder block

历史推导与原实验身份：R43 · R44 · R45 · R49 · R53。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/1706.03762v1：。原版本及采用边界见正文