R30.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R30 · 决定保留源位置以后，每一步怎样读取？

源序反转仍能改善固定摘要系统，说明最初的错译尚未定位。本页试另一项选择：保留整组源位置，看看每个目标步骤怎样重新取得所需信息。

<span id="r30-b0"></span>

## 状态 b0

图中保留同一中文源句的六个位置表示；目标侧只有BOS。先比较这一组可再次访问的来源与先前的整体摘要接口。

<span id="r30-b3"></span>

## 状态 b3

s₀与六个源表示共同进入scorer，新出现的是六个匹配分数。先辨认分数对应源位置，尚未形成词概率。

<span id="r30-b4"></span>

## 状态 b4

分数变为沿六个源位置归一化的权重；每行和为一。较大权重决定某个源表示在汇总中贡献多少。

<span id="r30-b5"></span>

## 状态 b5

同一组权重乘上源向量并相加，形成context。沿汇入箭头观察多份内容怎样成为一份内部向量。

<span id="r30-b6"></span>

## 状态 b6

context接入解码与词表头后，本步选择I。读取来源的权重和输出英文词的概率在这里接成两段不同计算。

<span id="r30-b7"></span>

## 状态 b7

I被接回前缀，当前状态更新，再预测gave。上方来源保持不动，需重新计算的是这一轮匹配与读出。

<span id="r30-b1"></span>

## 状态 b1

前缀已经是I gave，当前预测her。沿本步权重、context和词表头读完一次闭环，观察接收者信息在哪里进入预测。

此步前缀只有I gave；待预测的her不能先作为本步输入。

<span id="r30-b8"></span>

## 状态 b8

her已在前缀中，当前预测a。目标轴向前推进一格，上一输出成为下一步已知输入。

<span id="r30-b9"></span>

## 状态 b9

前缀为I gave her a，当前预测book。新的需求仍访问同一组源位置。

<span id="r30-b2"></span>

## 状态 b2

前缀已走过her、a、book，现在才预测yesterday。源位置未变，当前状态和读取分配改变，说明需求可以随目标位置更新。

<span id="r30-b10"></span>

## 状态 b10

yesterday加入前缀后预测句号；标点也是序列中的一个输出步骤。

<span id="r30-b11"></span>

## 状态 b11

句号之后预测EOS并停止。八个目标位置与八次读取一一对应，完整序列没有跳过中间词。

## 公式与算例详情

### 每次预测重新读取源句

固定表示 encoder–decoder 把源侧信息集中到一个整体向量。动态 attention 保留一组源位置表示 $h_1,\ldots,h_n$；每当解码器要产生下一项，便根据当前目标侧状态重新计算一组权重，再汇总源信息。预测 her 与预测 yesterday，允许形成不同的读取分布。

在 Bahdanau 的模型中，源表示来自双向 RNN，因而一个位置的表示也包含周围语境。箭头指向“她”不意味着其向量只存储“她”这个孤立词。对于第 $i$ 个输出，原式使用上一解码状态与源表示计算 $e_{ij}=a(s_{i-1},h_j)$，再得到 $c_i=\sum_j\alpha_{ij}h_j$。$c_i$ 参与后续解码与预测，并不是直接选出的目标词。

图中的六个源位置、中英语对与读取权重均为教学构造。切换目标前缀时，源句与这组编码表示保持不变；变化的是当前需求与读取分布。它们帮助说明后续 Q/K/V 的角色，不能作为模型已经修正错译或学会对齐的证据。R34 再单独阅读历史模型的真实热图。

### 参考与采用

- [Bahdanau et al. · Align and Translate](https://arxiv.org/pdf/1409.0473v7)：动态软对齐的机制与特定英法翻译设置中的长度证据。 复核位置：v7, 2016-05-19；ICLR 2015；§2.2 Eq.4–6、§4.2、§5.1 Figure 2；首次提交 2014-09-01

原课页采用记录：[M18 一次完整 attention](sources.html#M18)。页码均按PDF物理页计。

### 继续学习

如果仍不清楚“读到她”怎样参与写出 her，读[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)中“读取之后，系统怎样决定写 her”，并沿[书稿的同一目标前缀](lecture.html#read-R30)追踪源表示、当前需求与输出。[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“2 · 匹配、汇总，再预测下一词”把这条链接完整；[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“E · 只改 q 或只改 V，分别会改变什么？”用于检查来源权重与词表概率的区别，不能把手工箭头当训练结果。