B01 · 先让最小模型闭合一次预测
合法前缀已经确定。现在沿gave这一行把读取、内容加工、词表预测和监督接完整，先得到一张可继续扩展的模型母图。
状态 b0
沿gave位置的embedding与位置表示出发；上方输入和下方目标保持错位对齐。
状态 b1
masked self-attention将合法前缀内容汇入这一行，her、a的未来输入不可读。输出暂为内部向量。
状态 b2
FFN在同一位置内部变换通道；参数在位置间共享，计算没有新增跨位置连接。
状态 b3
词表投影与softmax形成下一词分布，gave行对应her目标。前向预测链在此闭合。
状态 b4
训练分支加入正确目标的交叉熵，并沿整条链返回误差。参考答案从监督侧进入，不成为该行输入。
这张母图先保留预测与训练职责；多头、残差、归一化、dropout和层叠的省略约定集中见完整细节。
状态 b5
生成时监督轴移除，当前只有BOS I gave。选出her后另列扩展前缀；下一次前向才使用新词，后续槽仍未知。
公式与算例详情
把一次读取接成预测闭环
最小 decoder 语言模型以右移输入 $x=(\mathrm{BOS},I,gave,her,a)$ 预测 $y=(I,gave,her,a,book)$。设 $X=E[x]+P$，使用因果 mask：
$$A=\operatorname{softmax}_{key}(QK^\top/\sqrt{d_k}+M),\quad H=AV,\quad Z=\operatorname{FFN}(H),\quad p_i=\operatorname{softmax}_{vocab}(Z_iW_{vocab}+b).$$
其中 $M_{ij}=0$ 当 $j\le i$，否则为 $-\infty$。FFN 在每个位置内部执行同一非线性通道变换，不增加可见位置。训练计算 $L=-\sum_i\log p_i[y_i]$；生成时当前输入只有 $x=(\mathrm{BOS},I,gave)$，没有完整监督目标轴，后续 token 尚未知。gave 行给出分布，本次选择 her 后，另得扩展前缀 $(\mathrm{BOS},I,gave,her)$，供下一次前向处理；再后一个词仍未知。
这是用于解释职责的简化模型，暂省多头、残差、归一化、dropout 和层叠。后面会补完整结构；attention 已包含 softmax 非线性，FFN 的职责不能描述为修复“完全线性的 attention”。R43–45 的算子核算采用另设的全可见局部输入，不与这里的 causal 前向共用数值。
参考与采用
- Vaswani et al. · Attention Is All You Need：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12
原课页采用记录：M22 矩阵与读取对应。页码均按PDF物理页计。
继续学习
若从读取到下一词仍有缺口，先沿最小 decoder 闭环逐项标出 gave 行如何到词表分布、训练 loss 及生成后的新前缀。Transformer 的信息流“沿一行目标表示走一遍”补完整系统，CLS 02“7 · 多头、残差、FFN，各自改变什么”与LAB 03 F 段补本页省略的算子；注意全可见局部复算使用独立数值，不能冒充本页 causal 前向。