T26 · 给这一行，昨天这一列：谁在读谁？

单次读取已经有明确归属。矩阵把多次读取放到同一计算里，必须继续保留每一行的query身份与每一列的key身份。

状态 b0

九个教学单位同时命名query行与key列。只提出给行、昨天列是谁读谁，答案在下一状态揭示。

状态 b1

揭示给读取昨天，再显露他的另一查询行。两行将各自产生对应输出；当前图展示分数行，尚未另画输出矩阵。

状态 b2

Q=XW_Q、K=XW_K、V=XW_V，每行沿key归一化；九乘九分数表最终保留九行输出。

公式与算例详情

X为9×d，Q/K为9×d_k，V为9×d_v；分数QKᵀ为9×9。softmax按每行的9个key归一化，随后乘V，输出是9×d_v。Q/K/V是当前层输入的不同学习投影，不是词性、语义角色或人工固定的三类标签。本图只显示关系，不捏造训练注意力数值。

继续学习

让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block

历史推导与原实验身份：R36 · R39 · R43。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/1706.03762v1：。原版本及采用边界见正文