R31.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R31 · 一次读取：匹配、汇总，最后才预测词

完整译文已走过一次，但读取权重怎样变成下一词概率还藏在几个箭头里。现在抽出一轮可复算的小例，把匹配、内容和输出分开检查。

<span id="r31-b0"></span>

## 状态 b0

q与三行K产生score，V暂未参加匹配。把每个分数对应回一个源位置，确认当前运算的输入。

<span id="r31-b1"></span>

## 状态 b1

三个分数沿源位置做softmax。观察三个权重的和及其对应标签：它们分配的是读取比例。

<span id="r31-b2"></span>

## 状态 b2

权重作用于三份V并汇总为context。按图上的一维乘加核对结果，观察内容向量而非词表标签。

向量坐标只是给定数值，不把第一维、第二维分别命名成人、时间等已学语义。

<span id="r31-b3"></span>

## 状态 b3

context经G形成logits，再在英文词表上归一化。对比前一步的源轴与这里的词表轴，两个softmax回答不同问题。

## 公式与算例详情

### 两次归一化，一次完整预测

这是独立的三来源教学账本，不是 R30 六位置模型的实际张量。先用未缩放的点积展示基本读取：$q=(1,0)$，三行 key 为 $(1,0),(0,1),(1,1)$，value 分别为 $(2,0),(0,4),(1,2)$。点积得到 $e=(1,0,1)$，指数为 $(2.71828,1,2.71828)$，分母为 $6.43656$，因此 $\alpha\approx(0.422319,0.155362,0.422319)$。权重沿三个可读源位置求和为 1。

汇总得到 $c=\sum_j\alpha_jv_j\approx(1.266956,1.466087)$。这一向量不等于词表分布。为闭合信息流，再明确给定一个教学输出投影 $G=\begin{bmatrix}2&0&0\\0&1&0\end{bmatrix}$，小词表顺序为 her、book、yesterday。于是 $\ell=cG=(2.533913,1.466087,0)$，再次 softmax 得到约 $(0.702690,0.241553,0.055757)$。

第一个 softmax 选择怎样混合源位置，第二个 softmax 产生目标词概率，两者轴和含义不同。这里省略了真实解码状态的其余计算，所有参数都是明确给定、未训练的教学数值；较大的 her 概率不构成翻译能力证据。后面 Transformer 将把打分改为除以 $\sqrt{d_k}$ 的版本。

原课页采用记录：[M18 一次完整 attention](sources.html#M18)、[M22 矩阵与读取对应](sources.html#M22)。页码均按PDF物理页计。

### 继续学习

要独立复算两次 softmax，先用[本页完整数值账本](lecture.html#read-R31)写出 scores→源位置权重→c→词表 logits→词概率，再读[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)的“同一个前缀穿过完整系统”。在[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“E · 只改 q 或只改 V，分别会改变什么？”检查每次归一化的轴及 G 是否固定；对应[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“2 · 匹配、汇总，再预测下一词”。