R38.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R38 · 并行之外，还能改变信息走过的路径

多次读取已经能并列组织，序列内部还一定要靠循环吗？把循环、卷积与全attention放在同一关系上比较，才能找到值得验证的结构机会。

<span id="r38-b0"></span>

## 状态 b0

强循环和卷积方案与全attention放在同一六词序列上。先只比较序列内部连接，不预先宣布路线胜负。

这里比较序列内部骨干，三种系统的跨序列读取另计。

<span id="r38-b1"></span>

## 状态 b1

追同一远距离关系：循环经过中间状态，局部卷积依靠层叠，全attention可在合法范围内一层直连。

<span id="r38-b3"></span>

## 状态 b3

卷积也能同层并行，所以额外待测理由是远距交互路径。比较这一机会与二次交互代价，而非把并行当attention专属优势。

<span id="r38-b2"></span>

## 状态 b2

短路径旁加入两两交互成本。将连接机会与代价同时保留，任务表现还要另测。

## 公式与算例详情

### 连接路径、并行轴与代价

RNN 沿序列更新状态，一层典型计算量为 $O(nd^2)$，位置之间有 $O(n)$ 个先后步骤，远处信息需经过多个状态更新。宽度 k 的普通一维卷积可并行计算同层位置，单层量级为 $O(knd^2)$，但长程交互需叠层扩大感受野；普通局部卷积的路径约为 $O(n/k)$，空洞卷积可缩短为 $O(\log_k n)$，不能把两种条件混为一谈。

全 self-attention 的位置交互项是 $O(n^2d)$，同层各 query 可一起计算，任意两位置可以经一次读取直接相连。投影仍有 $O(nd^2)$ 的成本；表中比较的是相应核心层的典型量级，实际速度还受维度、硬件、实现与长度影响。在 n 小于 d 的常见条件下，论文认为 self-attention 的计算选择有吸引力；长度很大时，二次交互又成为代价。

这不是 RNN 或卷积不再有效的证明。三者的局部性、状态形式、并行性与成本不同，应由任务和预算决定。R48 再用 Vaswani 等人的任务结果检查这种结构机会是否兑现。

### 参考与采用

- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12

原课页采用记录：[M23 为什么考虑去掉 recurrence](sources.html#M23)。页码均按PDF物理页计。

### 继续学习

如果“可并行”与“远处可直接相连”仍混在一起，读[三种结构的路径与复杂度](lecture.html#read-R38)，分别画同层依赖和跨位置路径。[两种时间尺度的路线判断](https://codingai-lec05.pages.dev/course/knowledge/architecture-choices-and-state.html)及[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“9 · 2017：并行值得试，胜负仍要测”把结构机会接到任务选择；在[受控实验设计](experiments.html#r5-controlled)先规定长度、质量、吞吐和内存口径，再比较候选，不把理论量级直接当实测时间。