R47.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R47 · 并行算训练位置，不等于并行知道未来词

完整结构已经能输出下一词分布。现在分别看训练与生成手里已有的信息，定位并行究竟发生在哪个阶段、哪条轴上。

<span id="r47-b0"></span>

## 状态 b0

训练答案已知，右移后各行合法前缀可同时构造。mask仍约束未来连接。

<span id="r47-b1"></span>

## 状态 b1

并行的是同层已知位置，后一层继续依赖前一层输出。观察并行轴与层间等待的区别。

<span id="r47-b2"></span>

## 状态 b2

生成中的后续输入还空着；先选I并接回，下一步输入才成立。未知token依赖没有因矩阵化消失。

## 公式与算例详情

### 训练与生成知道的内容不同

训练时正确目标序列全部来自数据。把输入右移一位，再使用 causal mask，便能在一层里同时计算多个目标位置，分别形成各自的下一词分布与损失。每个位置仍只能利用合法前缀，只是这些前缀已经可由训练数据构造。沿层的依赖没有消失：第 l+1 层需要第 l 层的表示。

自回归生成时，模型没有真实的后续目标 token。给定源句与 BOS，先得到第一个分布并选择 token；把选出的 I 接回后，再得到下一分布。用 greedy、采样或 beam 会改变如何选择候选，但不改变普通自回归分解对前缀的依赖。

因此“Transformer 可以并行”必须说清轴与阶段：训练时同层的序列位置可并行；普通自回归生成的后续 token 仍依赖先前选择。相同输入前缀中哪些计算可缓存，是接下来现代 decoder 运行部分要单独分析的问题。

### 参考与采用

- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12

原课页采用记录：[M29 从 block 到 LM 训练](sources.html#M29)。页码均按PDF物理页计。

### 继续学习

若训练并行与生成逐词看似矛盾，读[已知目标与未知后续的区别](lecture.html#read-R47)，给同一位置标出训练时已给定、生成时尚未知的 token。[两种时间尺度的路线判断](https://codingai-lec05.pages.dev/course/knowledge/architecture-choices-and-state.html)与[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“9 · 2017：并行值得试，胜负仍要测”讨论这一区别怎样影响投入；在[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) D 段核对右移与生成循环，随后 R54–R55 再检查其中可复用的中间量。