S06.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# S06 · RNN 与完整条件序列系统
上一段需要一个能跨步保留信息的通路。先将这条通路写成共享状态更新，再把它放回完整翻译任务，认识各部件承担的工作。
<span id="s06-b0"></span>
## 状态 b0
蓝盒事实进入h1，后续输入沿同一更新规则形成h_t；末尾任务读取状态。
<span id="s06-b1"></span>
## 状态 b1
Encoder读源句形成摘要c，Decoder同时接收源条件与BOS／已有目标前缀，输出下一词并继续。
## 公式与算例详情
完整条件生成分解为$p(y\mid x)=\prod_{t=1}^{8}p(y_t\mid y_{<t},x)$。此分解不是词独立假设，每项都带已写前缀和源句条件。encoder读取六个源token并形成最终状态$c$；本页采用“以$c$初始化decoder状态”的固定摘要示意，后续通过decoder状态继续携带源条件。另有每一步再次注入$c$的设计，不能把所有固定摘要系统画成同一种接口。
decoder从BOS开始给出词表分布，选择token后作为下一步输入，直到EOS。encoder／decoder是输入输出职责，不等同于某个唯一网络名字。固定摘要的图只先表明系统可以怎样工作，尚未证明其翻译质量；容量和长句困难要在系统闭合以后通过证据讨论。
教学展开借鉴CS224N Lecture05物理p14–21：任务、完整Seq2Seq、条件目标与训练，然后才问固定摘要；不是先抽走翻译任务，讲完一整章语言模型后再补回来。
**与保存实验分开：** LAB02为隔离读取方式，共同使用BiLSTM源编码器，固定组masked mean、动态组按query读取，并在同一位置向decoder注入context；两组decoder初态均为零。课堂“末摘要初始化decoder”是概念系统，不是该checkpoint的接口；LAB02首步零query导致均匀权重。两者不可拼成同次运行。核对入口：deepnote/dn1/build_notebooks.py的CLS02与LAB02保存说明。
本页第一态接续钥匙蓝盒的具体事实，第二态再回到给书任务；两者用于说明相同更新思想，不是同一个训练或评测样本。摘要初始化是概念Seq2Seq模型。LAB02的实际实现保留零初态、每步context注入的原身份，不能将本图当作该checkpoint逐层结构。
### 继续学习
[状态在流动，梯度可以停在边界](https://codingai-lec05.pages.dev/course/knowledge/recurrent-state-and-credit.html) · [LAB01：C · 共享参数的梯度到底加了几次？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)
[路径 A：分数进步了，为什么这一句仍然错](https://codingai-lec05.pages.dev/course/knowledge/teacher-forcing-and-generation.html) · [LAB02：路径A · 分数进步了，为什么这一句仍然错](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)
保留的完整推导：[R14](course/R14.html) · [R24](course/R24.html) · [R25](course/R25.html)。
### 原始来源
- [https://arxiv.org/pdf/1409.3215v1](https://arxiv.org/pdf/1409.3215v1)：本页说明所列原版本。本页原始出处与适用条件见正文