R37.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R37 · 学会读取以后，回到同一次选择

真实对齐图显示了模型如何分配读取，却没有回答它怎样学会这样读。本页先接回译文训练，再用新机制重新审视最初那条错译。

<span id="r37-b0"></span>

## 状态 b0

任务前向链已从源表示和前缀状态连到正确词loss。沿箭头找到读取结果如何影响最终词概率，红色反传尚未出现。

<span id="r37-b1"></span>

## 状态 b1

红色路径从loss经预测、汇总和匹配回到模型。普通译文监督可以训练读操作，无需先给每对词标注对齐。

<span id="r37-b3"></span>

## 状态 b3

原her/him错译重新出现；两个合法前缀对应接收者和时间的不同需求。用刚学的接口重新解释自己的选择，仍保留源序或搜索等其他原因。

图中箭头表达待验证的读取需求，不能当作新实测对齐或当前错译已修复的证据。

<span id="r37-b4"></span>

## 状态 b4

四格把源序正/反与摘要/动态读取分开。先看哪些条件被固定，再找一个能区分接口收益与其他改动的观察。

<span id="r37-b2"></span>

## 状态 b2

当所有value相同，改变权重仍得到同一context。观察这一特殊情形，区分存在可微路径与这条路径梯度一定非零。

<span id="r37-b5"></span>

## 状态 b5

展开loss到context再到score的导数。value与当前汇总在损失敏感方向上的差异，决定调整该分数能产生多大局部影响。

## 公式与算例详情

### 从机制返回同一次研究选择

固定摘要把源句压成一次条件；逐位置接口保存一组编码表示，按每个合法前缀的需求重新读取。任务误差能训练读操作，这说明接口有可学习的用途，没有证明它会修好当前错译。源序反转改善和强固定向量的长句表现仍支持继续旧路线。

下一步做源序（正／反）×接口（固定摘要／动态读取）的2×2。固定编码器方向、深度、隐藏宽度、数据切分、tokenizer、优化器与训练token预算、EOS／长度评分规则和beam；配对种子，另报告等参数预算敏感性。主要观察受控接收者词对的teacher-forced正确词NLL与分距错误率；另外报告自由生成BLEU及推理成本。先控制搜索，以免把搜索差距误作条件信息缺失。若动态读取没有可复现收益而代价更大，保留旧路线。若改善只在反转条件出现，也不能把全部改进归于读取接口。

### 局部梯度细式与其他路径
原始神经机器翻译系统可以用目标译文的条件似然联合训练编码器、解码器和对齐网络。即使没有逐词对齐标签，输出损失也会经预测层传回 context，再传到 value、权重和 scorer 参数。学习目标提供的是“这句译文预测得怎样”，并没有直接规定热图每格应有多亮。

对一次读取 $c=\sum_j\alpha_jv_j$，若 $g=\partial L/\partial c$，则 $\partial L/\partial e_j=\alpha_j g^{\mathsf T}(v_j-c)$。当某个 value 与当前汇总在损失敏感方向上不同，改变它的权重便可能改变损失。若所有 value 恰好相同，这次输出不依赖权重，来自这次 c 路径的 score 梯度为零。

attention 权重和本次读取的向量是当前输入下的激活，scorer 与编码、预测网络的参数才在训练中更新。后续采用投影式 Q/K/V 时，这一区别表现为 Q、K、V 与 $W_Q,W_K,W_V$ 的区别；不能把后者倒写为 Bahdanau 原式。一次随机 forward 能验证计算和维度，不能证明模型学会了有效对齐。

### 参考与采用

- [Bahdanau et al. · Align and Translate](https://arxiv.org/pdf/1409.0473v7)：动态软对齐的机制与特定英法翻译设置中的长度证据。 复核位置：v7, 2016-05-19；ICLR 2015；§2.2 Eq.4–6、§4.2、§5.1 Figure 2；首次提交 2014-09-01
- [Sequence to Sequence Learning · v1](https://arxiv.org/pdf/1409.3215v1)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表
- [Learning to Align and Translate · v1](https://arxiv.org/pdf/1409.0473v1)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表

原课页采用记录：[M18 一次完整 attention](sources.html#M18)、[M22 矩阵与读取对应](sources.html#M22)。页码均按PDF物理页计。

### 继续学习

若问题是“没有对齐标签，误差怎样教读取”，读[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)的“译文误差怎样教会读取”，并用[局部梯度式](lecture.html#read-R37)检查所有 value 相同时为何这条 score 梯度为零；[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“4 · 没有人工对齐标签，读取怎么学”承接这一步。若问题是“是否值得更换接口”，改读[2014 年的翻译路线选择](https://codingai-lec05.pages.dev/course/knowledge/translation-choices-2014.html)，在[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“D/E · 固定源序，比较两种读取接口”及[受控实验设计](experiments.html#r5-controlled)核对源序×接口、等参数预算敏感性和改判条件。数值求导与训练能力是两项检查。