S10 · 要留下信息，也要学会留下什么
RNN给了信息跨步传递的结构。面对同一钥匙配对，既要问颜色能否保存到最后，也要问末尾错误能否改变开头的写入策略。
状态 b0
前向保存红／蓝信息；末尾loss还需要影响早期写入，两者相关但不相同。
状态 b1
给定旧c=1、f=.9、i=.1、g=.5；学生计算保留项与新增项。
状态 b2
c′=.9×1+.1×.5=.95，保留和写入各有可见路径。
状态 b3
h′=.8tanh(.95)≈.591826；cell的传递与对外hidden读出分开。
状态 b4
在同一条20步直接保留路径，分别给f=.99和f=.8，先比较再计算。
状态 b5
.99²⁰≈.818，.8²⁰≈.011529；这里只是画出的直接路径，不是整个网络总梯度。
公式与算例详情
钥匙配对为教学构造：A开头“钥匙放进红盒”，B只将红改蓝；其余干扰内容与末尾“钥匙在哪个颜色的盒子里？”保持相同，正确答案分别为红／蓝。用于检验事实利用时应成对评价，不能只看能输入多少token；本页没有伪造准确率。
LSTM局部一步给定$f=(.9,.2)$、$i=(.1,.75)$、$o=(.8,.5)$、$g=(.5,-.2)$、旧$c=(1,-1)$。$c'=f\odot c+i\odot g=(.95,-.35)$；$h'=o\odot\tanh(c')\approx(.591826,-.168188)$。课堂只完整展开第一坐标$.9\times1+.1\times.5=.95$，让保留与写入各自有具体含义；第二坐标、输出门和各门的完整计算仍在本页说明、学生讲义、独立主题与CLS01，不重建既有Notebook。
门值一般由当前输入和旧状态经可学习函数产生，本页给定值用于复算。门控提供有利的状态通路，但不能保证无限记忆。若直接保留系数每步固定为.99或.8，20步直接路径系数分别为$.99^{20}\approx.818$和$.8^{20}\approx.011529$；这只是所画直接路径，真实总梯度还含其他依赖与路径。
末尾损失如何影响早期写入，属于长程信用分配。BPTT展开共享计算并累积梯度，长链乘积可能衰减或放大；梯度裁剪限制特定的大梯度更新，不能恢复未保存的信息，也不直接解决所有梯度消失。BiRNN可用于已知完整源句，却不能读取生成目标的未知未来。完整推导保留展开层，本段不再逐门遍历整个循环网络章节。