S12 · 2014：相同信息，不同组织

强LSTM已经能完成序列任务。2014年的一个有力变化并不是增加信息，而是改变源句进入模型的顺序。先看依赖路径，再看论文结果。

状态 b0

正序ABC与反序CBA包含同样源信息，目标xyz不反转；沿A→x追状态连接。

所画简化图中A→x从4段连接变为2段；这里只判断这一对，不宣称所有依赖缩短。

Sutskever v1 Table1同单模型，beam=12表示每步最多保留12条候选前缀。BLEU按译文与参考的连续词片段重合并计入长度惩罚，越高越好；正序26.17、反序30.59。路径解释与结果支持继续研究表示组织。

图按Sutskever等2014初稿Figure1的ABC→xyz形式重画。保持目标x、y、z顺序不变，将源A、B、C改为C、B、A。沿所选A→x，正序图需要经过A→B→C→EOS→x四段连接，反序图经过A→EOS→x两段。计数只对应这个简化图；其他对应词对未必都缩短。

原论文将引入较多短期依赖作为可学性改善的解释。物理p6 Table1中，单模型、beam=12、WMT14英→法的正常源序BLEU为26.17，反转源序为30.59。beam指搜索每步保留的候选数。BLEU用连续词片段重合并考虑长度惩罚衡量生成与参考的相似，不能保证每句关系都忠实。

该研究在固定摘要路线中取得有力结果，也报告长句表现。不能从摘要大小的直觉直接宣布这条路线已经失效。与此同时，Bahdanau等人在相近时期探索保留逐位置表示并动态读取。Bahdanau初稿为2014-09-01，Sutskever初稿为09-10；课堂理解顺序不代表后者催生前者。

本例支持研究表示组织与依赖路径如何影响学习，但仅凭BLEU差值无法确定唯一机制。后续待做2×2将把源序与读取接口放进同一任务，进一步辨别条件。

保留的完整推导：R29。