句子加长后，信息和训练信号怎样走？
T12 · 句子加长后，信息和训练信号怎样走？
递推提供了保存早期信息的可能，是否真的保留和学到还取决于参数与训练。长度变化同时改变前向传递和反向学习路径。
状态 b0
从昨天h2经过后续更新到h9，保留原九位置身份。
状态 b1
新增定语置灰，长句L1至L17对应自己的状态链，不沿用原九位编号。
状态 b2
训练信号经历多次变换，连乘可能衰减或放大。
公式与算例详情
完整加长构造为“我昨天给了他一本封面很厚、里面夹着许多便签的书。”。本图采用我／昨天／给／了／他／一／本／封面／很厚／、／里面／夹着／许多／便签／的／书／。十七个局部教学单位，以L1…L17独立编号。新增定语封面很厚、里面夹着许多便签的置灰。
这段构造只比较从昨天到末端经过的更新次数，不是某个真实模型失败的实测证据。普通RNN反传沿状态链通过连续Jacobian乘积，信号可能变小或变大。保存早期信息的前向能力与让误差更新早期写入的可学习性相关，但不能只用“记不住”替代通路解释。