R44.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R44 · 保留已有表示，再把新读取写回来

多头内容已经混合回原宽度。接下来要决定怎样把新读取写回当前位置，同时保留原表示的通路。

<span id="r44-b4"></span>

## 状态 b4

默认图保留x直达路径，并与attention修正汇合。对应已有残差直觉：新更新不必切断旧通路。

<span id="r44-b5"></span>

## 状态 b5

LayerNorm统计范围落在当前token的特征轴。它调整这一行的尺度，不把不同位置平均成一个位置。

<span id="r44-b0"></span>

## 状态 b0

备用数值态接收上一页O₁；原x₁尚未加回。先核对两者属于同一位置。

<span id="r44-b1"></span>

## 状态 b1

x₁与O₁逐项相加，新增直接路径将原内容带到本次更新；没有第二次读取。

<span id="r44-b2"></span>

## 状态 b2

只圈相加后这一行的四个特征计算均值和方差，其他token不进入统计。

<span id="r44-b3"></span>

## 状态 b3

归一化得到u₁，继续交给下一页FFN；它仍未经过词表投影。

## 公式与算例详情

### 把新读出的内容加回原表示

沿用 R43 的全可见、未训练 post-norm 算例，dropout 关闭；这里继续第一行的数值，与 B01 的 causal 前向不同。可[从 b0 逐步复算](course/R44.html#r44-b0)，或[回到默认解释 b4](course/R44.html#r44-b4)。

原始 Transformer 的 post-norm 次序为：$u_i=\operatorname{LN}(x_i+\operatorname{MHA}(X)_i)$。上页得到 $O_1=(1.000000,1.598888,-0.197776,-0.005560)$；原始输入 $x_1=(1,0,1,0)$，因此相加后的 $r_1=(2.000000,1.598888,0.802224,-0.005560)$。

### 在哪一个轴上归一化

LayerNorm 在这个 token 的四个特征维度内计算 $\mu=1.098888$ 与 $\sigma^2=0.592455$，再算 $\gamma\odot(r_1-\mu)/\sqrt{\sigma^2+\epsilon}+\beta$。本例明确给定 $\epsilon=10^{-5},\gamma=(1,1,1,1),\beta=(0,0,0,0)$，得到 $u_1\approx(1.170705,0.649589,-0.385419,-1.434875)$。

这一步不跨 token 或 batch 计算均值。真实模型会学习 gamma 与 beta；epsilon 保持分母稳定。残差使子层输出与输入直接相加，提供另一条信息和梯度路径，但整个 block 的导数还含 attention、归一化及其他部分，不能说“残差使梯度恒为1”。

### 参考与采用

- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12

原课页采用记录：[M27 attention 之后的 block](sources.html#M27)。页码均按PDF物理页计。

### 继续学习

用[残差相加与 LayerNorm 数值](lecture.html#read-R44)从 O₁ 回到 x₁，逐项复算 r₁、均值、方差与 u₁。[Transformer 的信息流](https://codingai-lec05.pages.dev/course/knowledge/transformer-information-flow.html)“沿一行目标表示走一遍”与[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) F 段继续追踪同一个 token；重点核对归一化只跨这一行的特征，以及 ε、γ、β 与 dropout 约定。若关心改变归一化位置后的训练，继续 R49 的独立问题，不由这次前向直接推断稳定性。