Lecture 05 · 保留已有表示，再把新读取写回来

R44 · 保留已有表示，再把新读取写回来

多头内容已经混合回原宽度。接下来要决定怎样把新读取写回当前位置，同时保留原表示的通路。

状态 b4

默认图保留x直达路径，并与attention修正汇合。对应已有残差直觉：新更新不必切断旧通路。

同一个 token：保留 x，学习修正 Δxattention Δ+L2 的残差直觉：已有表示有一条直接路径。

状态 b5

LayerNorm统计范围落在当前token的特征轴。它调整这一行的尺度，不把不同位置平均成一个位置。

同一个 token：保留 x，学习修正 Δxattention Δ+LayerNorm同一行：对特征维求均值与方差每个位置独立归一化

状态 b0

备用数值态接收上一页O₁；原x₁尚未加回。先核对两者属于同一位置。

原始 post-norm · 继续追踪第一个 token双头输出 O₁11.599−0.198−0.006原输入 x₁1010本例：ε=10⁻⁵，γ=1，β=0；dropout 关闭

状态 b1

x₁与O₁逐项相加，新增直接路径将原内容带到本次更新；没有第二次读取。

原始 post-norm · 继续追踪第一个 token双头输出 O₁11.599−0.198−0.006原输入 x₁1010+残差 r₁ = x₁+O₁21.5990.802−0.006本例：ε=10⁻⁵，γ=1，β=0；dropout 关闭

状态 b2

只圈相加后这一行的四个特征计算均值和方差，其他token不进入统计。

原始 post-norm · 继续追踪第一个 token双头输出 O₁11.599−0.198−0.006原输入 x₁1010+残差 r₁ = x₁+O₁21.5990.802−0.006同一行四个特征：μ = 1.098888；σ² = 0.592455LN(r) = γ ⊙ (r−μ) / √(σ²+ε) + β本例：ε=10⁻⁵，γ=1，β=0；dropout 关闭

状态 b3

归一化得到u₁，继续交给下一页FFN；它仍未经过词表投影。

原始 post-norm · 继续追踪第一个 token双头输出 O₁11.599−0.198−0.006原输入 x₁1010+残差 r₁ = x₁+O₁21.5990.802−0.006同一行四个特征：μ = 1.098888；σ² = 0.592455LN(r) = γ ⊙ (r−μ) / √(σ²+ε) + βu₁1.1710.650−0.385−1.435本例：ε=10⁻⁵，γ=1，β=0；dropout 关闭

公式与算例详情

把新读出的内容加回原表示

沿用 R43 的全可见、未训练 post-norm 算例，dropout 关闭；这里继续第一行的数值，与 B01 的 causal 前向不同。可从 b0 逐步复算，或回到默认解释 b4。

原始 Transformer 的 post-norm 次序为：$u_i=\operatorname{LN}(x_i+\operatorname{MHA}(X)_i)$。上页得到 $O_1=(1.000000,1.598888,-0.197776,-0.005560)$；原始输入 $x_1=(1,0,1,0)$，因此相加后的 $r_1=(2.000000,1.598888,0.802224,-0.005560)$。

在哪一个轴上归一化

LayerNorm 在这个 token 的四个特征维度内计算 $\mu=1.098888$ 与 $\sigma^2=0.592455$，再算 $\gamma\odot(r_1-\mu)/\sqrt{\sigma^2+\epsilon}+\beta$。本例明确给定 $\epsilon=10^{-5},\gamma=(1,1,1,1),\beta=(0,0,0,0)$，得到 $u_1\approx(1.170705,0.649589,-0.385419,-1.434875)$。

这一步不跨 token 或 batch 计算均值。真实模型会学习 gamma 与 beta；epsilon 保持分母稳定。残差使子层输出与输入直接相加，提供另一条信息和梯度路径，但整个 block 的导数还含 attention、归一化及其他部分，不能说“残差使梯度恒为1”。

参考与采用

原课页采用记录：M27 attention 之后的 block。页码均按PDF物理页计。

继续学习

用残差相加与 LayerNorm 数值从 O₁ 回到 x₁，逐项复算 r₁、均值、方差与 u₁。Transformer 的信息流“沿一行目标表示走一遍”与LAB 03 F 段继续追踪同一个 token；重点核对归一化只跨这一行的特征，以及 ε、γ、β 与 dropout 约定。若关心改变归一化位置后的训练，继续 R49 的独立问题，不由这次前向直接推断稳定性。