B01.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# B01 · 先让最小模型闭合一次预测
合法前缀已经确定。现在沿gave这一行把读取、内容加工、词表预测和监督接完整，先得到一张可继续扩展的模型母图。
<span id="b01-b0"></span>
## 状态 b0
沿gave位置的embedding与位置表示出发；上方输入和下方目标保持错位对齐。
<span id="b01-b1"></span>
## 状态 b1
masked self-attention将合法前缀内容汇入这一行，her、a的未来输入不可读。输出暂为内部向量。
<span id="b01-b2"></span>
## 状态 b2
FFN在同一位置内部变换通道；参数在位置间共享，计算没有新增跨位置连接。
<span id="b01-b3"></span>
## 状态 b3
词表投影与softmax形成下一词分布，gave行对应her目标。前向预测链在此闭合。
<span id="b01-b4"></span>
## 状态 b4
训练分支加入正确目标的交叉熵，并沿整条链返回误差。参考答案从监督侧进入，不成为该行输入。
这张母图先保留预测与训练职责；多头、残差、归一化、dropout和层叠的省略约定集中见完整细节。
<span id="b01-b5"></span>
## 状态 b5
生成时监督轴移除，当前只有BOS I gave。选出her后另列扩展前缀；下一次前向才使用新词，后续槽仍未知。
## 公式与算例详情
### 把一次读取接成预测闭环
最小 decoder 语言模型以右移输入 $x=(\mathrm{BOS},I,gave,her,a)$ 预测 $y=(I,gave,her,a,book)$。设 $X=E[x]+P$，使用因果 mask：
$$A=\operatorname{softmax}_{key}(QK^\top/\sqrt{d_k}+M),\quad H=AV,\quad Z=\operatorname{FFN}(H),\quad p_i=\operatorname{softmax}_{vocab}(Z_iW_{vocab}+b).$$
其中 $M_{ij}=0$ 当 $j\le i$，否则为 $-\infty$。FFN 在每个位置内部执行同一非线性通道变换，不增加可见位置。训练计算 $L=-\sum_i\log p_i[y_i]$；生成时当前输入只有 $x=(\mathrm{BOS},I,gave)$，没有完整监督目标轴，后续 token 尚未知。gave 行给出分布，本次选择 her 后，另得扩展前缀 $(\mathrm{BOS},I,gave,her)$，供下一次前向处理；再后一个词仍未知。
这是用于解释职责的简化模型，暂省多头、残差、归一化、dropout 和层叠。后面会补完整结构；attention 已包含 softmax 非线性，FFN 的职责不能描述为修复“完全线性的 attention”。R43–45 的算子核算采用另设的全可见局部输入，不与这里的 causal 前向共用数值。
### 参考与采用
- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12
原课页采用记录：[M22 矩阵与读取对应](sources.html#M22)。页码均按PDF物理页计。
### 继续学习
若从读取到下一词仍有缺口，先沿[最小 decoder 闭环](lecture.html#read-B01)逐项标出 gave 行如何到词表分布、训练 loss 及生成后的新前缀。[Transformer 的信息流](https://codingai-lec05.pages.dev/course/knowledge/transformer-information-flow.html)“沿一行目标表示走一遍”补完整系统，[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“7 · 多头、残差、FFN，各自改变什么”与[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) F 段补本页省略的算子；注意全可见局部复算使用独立数值，不能冒充本页 causal 前向。