R40.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R40 · 位置告诉模型先后，mask 决定允许看谁
重排实验说明，内容向量本身未提供序号。先固定同一个词，只改变所在位置的信息，再辨认这与禁止读取未来有何不同。
<span id="r40-b0"></span>
## 状态 b0
保持E(她)不变，只并置位置1和位置3的p。当前比较对象是同一内容收到的不同序号信息。
本状态的二维数值只显示“同词、换位置”怎样改变输入；它们不是训练出的词义坐标。
<span id="r40-b1"></span>
## 状态 b1
相加后的两行表示不同，说明位置进入了计算；图中并未因此禁止任何读取连接。
<span id="r40-b2"></span>
## 状态 b2
备用图把位置写进Q/K维度对的旋转，观察相对角度怎样影响点积。这与在输入上直接相加p是不同参数化。
## 公式与算例详情
### 位置信号进入计算的两处入口
绝对位置的一种方法是 $\tilde x_i=E(t_i)+p_i$。同一个 token 移到另一位置，词类型 embedding 可以不变，但位置向量改为新位置的 $p_i$。画面的二维构造取 $E(她)=(1,0)$，两处位置分别加 $(0,.2)$ 与 $(0,.6)$，得到 $(1,.2)$ 与 $(1,.6)$，只用于显示相加关系。原始 Transformer 使用交错的正弦余弦函数，$PE_{i,2r}=\sin(i/10000^{2r/d})$，$PE_{i,2r+1}=\cos(i/10000^{2r/d})$；也可以学习一张位置表。位置表之外的索引需要额外方案，公式能算更远也不自动保证模型能有效外推。
RoPE 是另一种放置信号的位置：先产生 Q/K，再按照位置把各二维分量对旋转。用列向量记号看一对维度，$\tilde q_i=R(i\theta)q_i,\tilde k_j=R(j\theta)k_j$，因此 $\tilde q_i^{\mathsf T}\tilde k_j=q_i^{\mathsf T}R((j-i)\theta)k_j$。两边共同平移一个位置，角度差不变；相对距离进入匹配。
位置影响表示或匹配，mask 则规定哪些来源合法；位置编码不能代替因果屏蔽。这里的二维圆只是其中一对分量的几何解释，不是声称所有维度同转一个角，也不等同于给 V 加位置。参考 [Su et al., RoFormer, §3.2](https://arxiv.org/abs/2104.09864)，以及 CS231n Lecture 8 物理 p59–60。
### 参考与采用
- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12
原课页采用记录：[M24 位置、等变与 RoPE](sources.html#M24)。页码均按PDF物理页计。
### 继续学习
若不清楚位置加在哪里，读[Transformer 的信息流](https://codingai-lec05.pages.dev/course/knowledge/transformer-information-flow.html)的“位置在回答哪个问题”和“重排一次，再让位置进入计算”，用[绝对位置与 RoPE 两个公式](lecture.html#read-R40)分别标出 E、Q、K 的变化。[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“位置与 RoPE：相对关系如何进入匹配”说明旋转的作用；[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) F 段可核对位置变化进入前向的路径，因果合法性仍须单独检查 mask。