S12.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# S12 · 2014：相同信息，不同组织 强LSTM已经能完成序列任务。2014年的一个有力变化并不是增加信息，而是改变源句进入模型的顺序。先看依赖路径，再看论文结果。 <span id="s12-b0"></span> ## 状态 b0 正序ABC与反序CBA包含同样源信息，目标xyz不反转；沿A→x追状态连接。 <span id="s12-b1"></span> ## 状态 b1 所画简化图中A→x从4段连接变为2段；这里只判断这一对，不宣称所有依赖缩短。 <span id="s12-b2"></span> ## 状态 b2 Sutskever v1 Table1同单模型，beam=12表示每步最多保留12条候选前缀。BLEU按译文与参考的连续词片段重合并计入长度惩罚，越高越好；正序26.17、反序30.59。路径解释与结果支持继续研究表示组织。 ## 公式与算例详情 图按Sutskever等2014初稿Figure1的ABC→xyz形式重画。保持目标x、y、z顺序不变，将源A、B、C改为C、B、A。沿所选A→x，正序图需要经过A→B→C→EOS→x四段连接，反序图经过A→EOS→x两段。计数只对应这个简化图；其他对应词对未必都缩短。 原论文将引入较多短期依赖作为可学性改善的解释。物理p6 Table1中，单模型、beam=12、WMT14英→法的正常源序BLEU为26.17，反转源序为30.59。beam指搜索每步保留的候选数。BLEU用连续词片段重合并考虑长度惩罚衡量生成与参考的相似，不能保证每句关系都忠实。 该研究在固定摘要路线中取得有力结果，也报告长句表现。不能从摘要大小的直觉直接宣布这条路线已经失效。与此同时，Bahdanau等人在相近时期探索保留逐位置表示并动态读取。Bahdanau初稿为2014-09-01，Sutskever初稿为09-10；课堂理解顺序不代表后者催生前者。 本例支持研究表示组织与依赖路径如何影响学习，但仅凭BLEU差值无法确定唯一机制。后续待做2×2将把源序与读取接口放进同一任务，进一步辨别条件。 ### 继续学习 [2014：先拥有一个可工作的翻译器，再决定改哪里](https://codingai-lec05.pages.dev/course/knowledge/translation-choices-2014.html) · [LAB02：D/E · 固定源序，比较两种读取接口](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) [读取之后，系统怎样决定写 her](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html) · [LAB02：E · 只改 q 或只改 V，分别会改变什么？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) [从2017计算图到2020组合，再看持续状态系统](https://codingai-lec05.pages.dev/course/knowledge/architecture-choices-and-state.html) · [LAB02：接着研究 · 哪个实验最便宜，又能区分解释？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) 保留的完整推导：[R29](course/R29.html)。 ### 原始来源 - [https://arxiv.org/pdf/1409.3215v1](https://arxiv.org/pdf/1409.3215v1)：本页说明所列原版本。本页原始出处与适用条件见正文