R17 · 钥匙在开头，问题在很久以后

状态链与训练路径都已接通，还需要一项真正要求使用远处事实的任务。本页先排除只凭末尾几词猜答案的捷径，再增加保存距离。

公式与算例详情

教学输入为：“把蓝扣钥匙放进赭色盒子。接电话、整理桌面、移动杯子……蓝扣钥匙在哪个盒子？”答案是“赭色盒子”。生成的情境图只帮助人理解任务，没有提供任何模型准确率。

要把它变成有效的长依赖实验，不能在所有样本里都使用同一个盒子。随机选择盒子属性作为标签，生成与标签独立的干扰；查询中不重复答案。最直接的捷径检查是构造一对输入：只把开头的“赭色盒子”换成“灰色盒子”，其余后缀逐字相同，正确答案随之改变。任何只看这个共同后缀的确定性模型都无法同时答对二者。

训练／测试按完整样本划分，盒子标签均衡，记录 token 级依赖距离。依次增加干扰长度，再比较训练中出现过的距离与更远距离；固定数据生成规则、训练预算与评估集，并同时记录模型参数量。否则 RNN 与 LSTM 的差别可能来自容量或计算量。

实验输出至少包含按距离分组的准确率、多种随机种子的差异及梯度范数。尚未执行的模型比较不能画成“LSTM 必胜”曲线。图中隐藏开头是为了区分“读过早先事实”与“仅凭共同后缀推断”，不是模型测试输出。

原课页采用记录：M12 长依赖不是多走几步动画。页码均按PDF物理页计。

继续学习

本页自学核对：只改开头盒子位置，保持后缀逐字相同；整理成一对答案必须不同的样本。

若想把钥匙情境变成有效长依赖实验，可进入《状态在流动，梯度可以停在边界》；动手时打开LAB01的“C · 共享参数的梯度到底加了几次？”：先读门禁日志中事实与查询的关系，再检查短smoke测试不能替代配对、多距离和多种子验证。 实施范围见实验路线C。