Lecture 05 · 一次读取:匹配、汇总,最后才预测词

R31 · 一次读取:匹配、汇总,最后才预测词

完整译文已走过一次,但读取权重怎样变成下一词概率还藏在几个箭头里。现在抽出一轮可复算的小例,把匹配、内容和输出分开检查。

状态 b0

q与三行K产生score,V暂未参加匹配。把每个分数对应回一个源位置,确认当前运算的输入。

用需求与线索匹配q=(1,0)位置keyscore她(1, 0)1书(0, 1)0昨天(1, 1)1scoreⱼ = q · kⱼvalue 暂不参与匹配

状态 b1

三个分数沿源位置做softmax。观察三个权重的和及其对应标签:它们分配的是读取比例。

沿源位置归一化q=(1,0)位置keyscoreα她(1, 0)10.422书(0, 1)00.155昨天(1, 1)10.422scoreⱼ = q · kⱼαⱼ = exp(scoreⱼ) / Σ源位置 exp(score)

状态 b2

权重作用于三份V并汇总为context。按图上的一维乘加核对结果,观察内容向量而非词表标签。

向量坐标只是给定数值,不把第一维、第二维分别命名成人、时间等已学语义。

按权重带回内容位置权重 αvalue贡献 αv她0.422(2, 0)(0.845, 0)书0.155(0, 4)(0, 0.621)昨天0.422(1, 2)(0.422, 0.845)c = Σ αⱼvⱼ ≈ (1.267, 1.466)

状态 b3

context经G形成logits,再在英文词表上归一化。对比前一步的源轴与这里的词表轴,两个softmax回答不同问题。

最后进入词表预测c ≈ (1.267, 1.466)给定 Glogits ≈ (2.534, 1.466, 0)词表 softmaxher.703book.242yesterday.056源轴 α:从哪里读词表 p:输出哪个词两种分布各自和为 1;内部读取不等于最终选词。

公式与算例详情

两次归一化,一次完整预测

这是独立的三来源教学账本,不是 R30 六位置模型的实际张量。先用未缩放的点积展示基本读取:$q=(1,0)$,三行 key 为 $(1,0),(0,1),(1,1)$,value 分别为 $(2,0),(0,4),(1,2)$。点积得到 $e=(1,0,1)$,指数为 $(2.71828,1,2.71828)$,分母为 $6.43656$,因此 $\alpha\approx(0.422319,0.155362,0.422319)$。权重沿三个可读源位置求和为 1。

汇总得到 $c=\sum_j\alpha_jv_j\approx(1.266956,1.466087)$。这一向量不等于词表分布。为闭合信息流,再明确给定一个教学输出投影 $G=\begin{bmatrix}2&0&0\\0&1&0\end{bmatrix}$,小词表顺序为 her、book、yesterday。于是 $\ell=cG=(2.533913,1.466087,0)$,再次 softmax 得到约 $(0.702690,0.241553,0.055757)$。

第一个 softmax 选择怎样混合源位置,第二个 softmax 产生目标词概率,两者轴和含义不同。这里省略了真实解码状态的其余计算,所有参数都是明确给定、未训练的教学数值;较大的 her 概率不构成翻译能力证据。后面 Transformer 将把打分改为除以 $\sqrt{d_k}$ 的版本。

原课页采用记录:M18 一次完整 attention、M22 矩阵与读取对应。页码均按PDF物理页计。

继续学习

要独立复算两次 softmax,先用本页完整数值账本写出 scores→源位置权重→c→词表 logits→词概率,再读从读取到词预测的“同一个前缀穿过完整系统”。在LAB 02“E · 只改 q 或只改 V,分别会改变什么?”检查每次归一化的轴及 G 是否固定;对应CLS 02“2 · 匹配、汇总,再预测下一词”。