R03.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R03 · 同一个 bank，查表相同，理解却应不同

上一页的查表让同一token取得同一行向量。bank在不同句子中却需要不同解释；本页据此提出后续网络必须解决的上下文问题。

<span id="r03-b0"></span>

## 状态 b0

只看到bank，银行与河岸都还是候选解释；先保留不确定性。

<span id="r03-b2"></span>

## 状态 b2

两个E[bank]相同，后面的h仍为问号。虚线标出需要建立的计算：怎样把不同邻词组合进本次表示。

<span id="r03-b1"></span>

## 状态 b1

句子与情境出现后，money与river分别提供区分线索。观察改变的是语境，而非bank的拼写。

## 公式与算例详情

She deposited money at the bank. 与 She sat on the bank of the river. 中的bank是同一个词类型。若直接查同一张静态embedding表，两次得到同一行。后续模型把周围词一起纳入计算，才可能给这两次出现形成不同表示。图中的h问号表示尚待建立的计算，而不是已经完成的消歧结果。

图像让我们观察人类可见的语境，句子才是本页语言模型的示例输入。这里没有运行消歧模型，不把人的读图判断叫作模型预测。窗口网络、RNN和self-attention都能以不同方式引入上下文；位置编码解决顺序关系，不能单独替代语义消歧。

原课页采用记录：[M05 同一个词为什么含义不同](sources.html#M05)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R03)：对两句 bank 逐一指出查表输入与语境输入；整理成相同 E、待构造 h 的对照。

若两次bank查表相同，却不知道语境从哪里进入，可进入[《从一条混排消息到模型的输入》](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“A · 邻居变多，bank 的表示会怎样变？”：固定bank的词向量，改变窗口，比较输入组合与近邻变化；区分表示差异和消歧成绩。 实施范围见[实验路线A](experiments.html#experiment-A)。