R34.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R34 · 逐步的读取，怎样汇成可读的对齐图？ 逐步读取是否能合成一张看得懂的图？先把同一译文的每轮权重叠起来，再用相同读法观察真实论文模型。 <span id="r34-b0"></span> ## 状态 b0 八次构造读取叠成八行、六列。沿her行追到原步骤，每行是一轮目标需求对同一源轴的分配。 <span id="r34-b3"></span> ## 状态 b3 切换到真实英法论文图。先重新读横轴英语、纵轴法语，并按白色较高的图例识别权重；读法相同，数据身份已改变。 <span id="r34-b1"></span> ## 状态 b1 局部裁图突出EEA与zone、économique、européenne的对应。高权重区域出现重排，读取不必沿整齐对角线。 <span id="r34-b2"></span> ## 状态 b2 比较August 1992的保序片段与a、été的分散读取。一对一和多位置参与可以同时出现在这张图中。 “读取分散”是权重图上的观察，某位置对预测是否必要仍需独立干预。 ## 公式与算例详情 ### 原论文热图的轴与证据范围 图来自 [Bahdanau、Cho 与 Bengio 原论文](https://arxiv.org/pdf/1409.0473v7) Figure 3(a)，使用 RNNsearch-50。横轴是英语源词，纵轴是模型生成的法语词，每个格子表示生成该目标词时分到某源位置的 attention 权重，黑色接近 0、白色接近 1。源句为 “The agreement on the European Economic Area was signed in August 1992.”；法语为 “L’accord sur la zone économique européenne a été signé en août 1992.”。 European、Economic、Area 在法语中对应 zone、économique、européenne，局部强权重呈反向排列；August→août、1992→1992 则保持顺序。a 与 été 一带对 was、signed 的读取较分散，说明这不是强制一对一的硬词典查表。 这是原论文作者选取的一个 arbitrary sentence。图注中“随机测试句”的条件属于 Figure 3(b–d)，不应套到 (a)。没有从图像灰度反推精确权重。该图可展示模型实际的关联读取，却不能单独证明某条连接对译文的因果必要性，也不是 Transformer head 的可视化。参考教学线索为 CS231n Lecture 8 物理 p27；清晰原图取自 Bahdanau 论文物理 p6。 ### 参考与采用 - [Bahdanau et al. · Align and Translate](https://arxiv.org/pdf/1409.0473v7)：动态软对齐的机制与特定英法翻译设置中的长度证据。 复核位置：v7, 2016-05-19；ICLR 2015；§2.2 Eq.4–6、§4.2、§5.1 Figure 2；首次提交 2014-09-01 原课页采用记录：[M20 真实翻译对齐图](sources.html#M20)。页码均按PDF物理页计。 ### 继续学习 要区分构造箭头与历史热图的证据，先回到[Figure 3(a) 的句子、轴与图注](lecture.html#read-R34)，再在[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)的完整预测链中追踪“一行权重怎样参与一次输出”。[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“2 · 匹配、汇总，再预测下一词”帮助重建这一行；[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) E 的改 V 干预可检验为什么同一热图不足以说明输出不变，但该构造干预不等于对历史模型做了因果实验。