S10.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# S10 · 要留下信息，也要学会留下什么

RNN给了信息跨步传递的结构。面对同一钥匙配对，既要问颜色能否保存到最后，也要问末尾错误能否改变开头的写入策略。

<span id="s10-b0"></span>

## 状态 b0

前向保存红／蓝信息；末尾loss还需要影响早期写入，两者相关但不相同。

<span id="s10-b1"></span>

## 状态 b1

给定旧c=1、f=.9、i=.1、g=.5；学生计算保留项与新增项。

<span id="s10-b2"></span>

## 状态 b2

c′=.9×1+.1×.5=.95，保留和写入各有可见路径。

<span id="s10-b3"></span>

## 状态 b3

h′=.8tanh(.95)≈.591826；cell的传递与对外hidden读出分开。

<span id="s10-b4"></span>

## 状态 b4

在同一条20步直接保留路径，分别给f=.99和f=.8，先比较再计算。

<span id="s10-b5"></span>

## 状态 b5

 .99²⁰≈.818，.8²⁰≈.011529；这里只是画出的直接路径，不是整个网络总梯度。

## 公式与算例详情

钥匙配对为教学构造：A开头“钥匙放进红盒”，B只将红改蓝；其余干扰内容与末尾“钥匙在哪个颜色的盒子里？”保持相同，正确答案分别为红／蓝。用于检验事实利用时应成对评价，不能只看能输入多少token；本页没有伪造准确率。

LSTM局部一步给定$f=(.9,.2)$、$i=(.1,.75)$、$o=(.8,.5)$、$g=(.5,-.2)$、旧$c=(1,-1)$。$c'=f\odot c+i\odot g=(.95,-.35)$；$h'=o\odot\tanh(c')\approx(.591826,-.168188)$。课堂只完整展开第一坐标$.9\times1+.1\times.5=.95$，让保留与写入各自有具体含义；第二坐标、输出门和各门的完整计算仍在本页说明、学生讲义、独立主题与CLS01，不重建既有Notebook。

门值一般由当前输入和旧状态经可学习函数产生，本页给定值用于复算。门控提供有利的状态通路，但不能保证无限记忆。若直接保留系数每步固定为.99或.8，20步直接路径系数分别为$.99^{20}\approx.818$和$.8^{20}\approx.011529$；这只是所画直接路径，真实总梯度还含其他依赖与路径。

末尾损失如何影响早期写入，属于长程信用分配。BPTT展开共享计算并累积梯度，长链乘积可能衰减或放大；梯度裁剪限制特定的大梯度更新，不能恢复未保存的信息，也不直接解决所有梯度消失。BiRNN可用于已知完整源句，却不能读取生成目标的未知未来。完整推导保留展开层，本段不再逐门遍历整个循环网络章节。

### 继续学习

[状态在流动，梯度可以停在边界](https://codingai-lec05.pages.dev/course/knowledge/recurrent-state-and-credit.html) · [LAB01：C · 共享参数的梯度到底加了几次？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[路径 C：材料放得下，不代表采用了当前事实](https://codingai-lec05.pages.dev/course/knowledge/cache-and-effective-context.html) · [LAB03：路径C · 材料放得下，不代表采用了当前事实](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导：[R17](course/R17.html) · [R18](course/R18.html) · [R19](course/R19.html) · [R20](course/R20.html) · [R21](course/R21.html) · [R22](course/R22.html)。