Lecture 05 · 同一个 bank，查表相同，理解却应不同

R03 · 同一个 bank，查表相同，理解却应不同

上一页的查表让同一token取得同一行向量。bank在不同句子中却需要不同解释；本页据此提出后续网络必须解决的上下文问题。

状态 b0

只看到bank，银行与河岸都还是候选解释；先保留不确定性。

bank先不看上下文，你能确定含义吗？

状态 b2

两个E[bank]相同，后面的h仍为问号。虚线标出需要建立的计算：怎样把不同邻词组合进本次表示。

She deposited money at the bank.She sat on the bank of the river.银行河岸同一 E[bank]h₁ = ?（待建模）同一 E[bank]h₂ = ?

状态 b1

句子与情境出现后，money与river分别提供区分线索。观察改变的是语境，而非bank的拼写。

She deposited money at the bank.She sat on the bank of the river.银行河岸

公式与算例详情

She deposited money at the bank. 与 She sat on the bank of the river. 中的bank是同一个词类型。若直接查同一张静态embedding表，两次得到同一行。后续模型把周围词一起纳入计算，才可能给这两次出现形成不同表示。图中的h问号表示尚待建立的计算，而不是已经完成的消歧结果。

图像让我们观察人类可见的语境，句子才是本页语言模型的示例输入。这里没有运行消歧模型，不把人的读图判断叫作模型预测。窗口网络、RNN和self-attention都能以不同方式引入上下文；位置编码解决顺序关系，不能单独替代语义消歧。

原课页采用记录：M05 同一个词为什么含义不同。页码均按PDF物理页计。

继续学习

本页自学核对：对两句 bank 逐一指出查表输入与语境输入；整理成相同 E、待构造 h 的对照。

若两次bank查表相同，却不知道语境从哪里进入，可进入《从一条混排消息到模型的输入》；动手时打开LAB01的“A · 邻居变多，bank 的表示会怎样变？”：固定bank的词向量，改变窗口，比较输入组合与近邻变化；区分表示差异和消歧成绩。 实施范围见实验路线A。