R34 · 逐步的读取，怎样汇成可读的对齐图？
逐步读取是否能合成一张看得懂的图？先把同一译文的每轮权重叠起来，再用相同读法观察真实论文模型。
状态 b0
八次构造读取叠成八行、六列。沿her行追到原步骤，每行是一轮目标需求对同一源轴的分配。
状态 b3
切换到真实英法论文图。先重新读横轴英语、纵轴法语，并按白色较高的图例识别权重；读法相同，数据身份已改变。
状态 b1
局部裁图突出EEA与zone、économique、européenne的对应。高权重区域出现重排，读取不必沿整齐对角线。
状态 b2
比较August 1992的保序片段与a、été的分散读取。一对一和多位置参与可以同时出现在这张图中。
“读取分散”是权重图上的观察，某位置对预测是否必要仍需独立干预。
公式与算例详情
原论文热图的轴与证据范围
图来自 Bahdanau、Cho 与 Bengio 原论文 Figure 3(a)，使用 RNNsearch-50。横轴是英语源词，纵轴是模型生成的法语词，每个格子表示生成该目标词时分到某源位置的 attention 权重，黑色接近 0、白色接近 1。源句为 “The agreement on the European Economic Area was signed in August 1992.”；法语为 “L’accord sur la zone économique européenne a été signé en août 1992.”。
European、Economic、Area 在法语中对应 zone、économique、européenne，局部强权重呈反向排列；August→août、1992→1992 则保持顺序。a 与 été 一带对 was、signed 的读取较分散，说明这不是强制一对一的硬词典查表。
这是原论文作者选取的一个 arbitrary sentence。图注中“随机测试句”的条件属于 Figure 3(b–d)，不应套到 (a)。没有从图像灰度反推精确权重。该图可展示模型实际的关联读取，却不能单独证明某条连接对译文的因果必要性，也不是 Transformer head 的可视化。参考教学线索为 CS231n Lecture 8 物理 p27；清晰原图取自 Bahdanau 论文物理 p6。
参考与采用
- Bahdanau et al. · Align and Translate：动态软对齐的机制与特定英法翻译设置中的长度证据。 复核位置：v7, 2016-05-19；ICLR 2015；§2.2 Eq.4–6、§4.2、§5.1 Figure 2；首次提交 2014-09-01
原课页采用记录：M20 真实翻译对齐图。页码均按PDF物理页计。
继续学习
要区分构造箭头与历史热图的证据，先回到Figure 3(a) 的句子、轴与图注，再在从读取到词预测的完整预测链中追踪“一行权重怎样参与一次输出”。CLS 02“2 · 匹配、汇总，再预测下一词”帮助重建这一行；LAB 02 E 的改 V 干预可检验为什么同一热图不足以说明输出不变，但该构造干预不等于对历史模型做了因果实验。