R35.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R35 · 回到 bank：本次输出属于哪个位置？

bank与money已经放进同一读取接口。回到两句bank，继续问：一次查询的结果属于谁，换一个查询位置后原输出去了哪里？

<span id="r35-b0"></span>

## 状态 b0

两句bank查到相同E[bank]，但可用线索分别含money与river。比较相同起点和不同来源，准备观察输出怎样依赖上下文。

窗口网络与RNN已能组合语境；此处比较的是访问方式，并非语境第一次进入模型。

<span id="r35-b1"></span>

## 状态 b1

同句X经不同投影形成Q、K、V；bank的query读本句来源，结果写入h_bank。先只追这一行的输入和输出。

<span id="r35-b2"></span>

## 状态 b2

查询位置改成money或river，原h_bank保留，并新增各自输出。每个query都得到一行结果，整句没有在这里被池化成一个向量。

## 公式与算例详情

### 读取来源与输出归属

Cross-attention 的关键是来源不同。例如翻译时，目标侧表示 D 产生 $Q=DW_Q$，源编码器输出 H 产生 $K=HW_K$ 与 $V=HW_V$。目标位置查询源序列，所以输出行数由目标 query 数决定。

Self-attention 中，三组激活都由同一个输入序列 X 投影：$Q=XW_Q,K=XW_K,V=XW_V$。不同的投影参数使 Q、K、V 通常不相等。某个位置用自己的 q 去匹配所有合法 key，再得到自己的读出向量。若有 n 个 query，就得到 n 行输出；self-attention 本身不是把整句池化为一个向量。

画面并置 money 与 river 出现在 bank 周围的两句话，说明同一词在不同语境中可能需要读取不同来源。此时需求与候选来源都在本句；让每个位置各自产生 query，才得到一组属于各位置的输出。向量没有预先规定的人类语义职业，图也没有声称一个给定 head 已学会银行／河岸消歧。causal self-attention 进一步限制合法来源，但仍属于同一序列内部的读取。

### 参考与采用

- [Vaswani et al. · Attention Is All You Need](https://arxiv.org/abs/1706.03762)：原始 encoder–decoder Transformer：信息来源、并行性、路径和代价。 复核位置：§3、Table 1/2；本轮核对v7 PDF；首次提交2017-06-12

原课页采用记录：[M21 cross 到 self](sources.html#M21)。页码均按PDF物理页计。

### 继续学习

若 bank 的输出与整句池化仍混淆，读[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)的“同一个词上的三类读取”，再按[输出归属说明](lecture.html#read-R35)为 bank、money 等位置分别标出 Q 的来源与输出行。[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“5 · 从逐步读取到 self-attention”承接这一转换；[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) E 的多 query 计算中，核对一条 query 对应一行输出，并保留每行自己的来源分布。