R17.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R17 · 钥匙在开头，问题在很久以后

状态链与训练路径都已接通，还需要一项真正要求使用远处事实的任务。本页先排除只凭末尾几词猜答案的捷径，再增加保存距离。

<span id="r17-b0"></span>

## 状态 b0

蓝扣钥匙进入赭色盒子，后续电话与杯子没有移动它。先辨认末尾必须依赖哪条事实。

<span id="r17-b1"></span>

## 状态 b1

开头被遮住，仅剩干扰与问题。只靠共同后缀无法恢复最初盒子。

<span id="r17-b2"></span>

## 状态 b2

第二条只改开头盒子，其余后缀相同，正确答案却改变。这一配对使近邻猜测无法同时答对两条。

## 公式与算例详情

教学输入为：“把蓝扣钥匙放进赭色盒子。接电话、整理桌面、移动杯子……蓝扣钥匙在哪个盒子？”答案是“赭色盒子”。生成的情境图只帮助人理解任务，没有提供任何模型准确率。

要把它变成有效的长依赖实验，不能在所有样本里都使用同一个盒子。随机选择盒子属性作为标签，生成与标签独立的干扰；查询中不重复答案。最直接的捷径检查是构造一对输入：只把开头的“赭色盒子”换成“灰色盒子”，其余后缀逐字相同，正确答案随之改变。任何只看这个共同后缀的确定性模型都无法同时答对二者。

训练／测试按完整样本划分，盒子标签均衡，记录 token 级依赖距离。依次增加干扰长度，再比较训练中出现过的距离与更远距离；固定数据生成规则、训练预算与评估集，并同时记录模型参数量。否则 RNN 与 LSTM 的差别可能来自容量或计算量。

实验输出至少包含按距离分组的准确率、多种随机种子的差异及梯度范数。尚未执行的模型比较不能画成“LSTM 必胜”曲线。图中隐藏开头是为了区分“读过早先事实”与“仅凭共同后缀推断”，不是模型测试输出。

原课页采用记录：[M12 长依赖不是多走几步动画](sources.html#M12)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R17)：只改开头盒子位置，保持后缀逐字相同；整理成一对答案必须不同的样本。

若想把钥匙情境变成有效长依赖实验，可进入[《状态在流动，梯度可以停在边界》](https://codingai-lec05.pages.dev/course/knowledge/recurrent-state-and-credit.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“C · 共享参数的梯度到底加了几次？”：先读门禁日志中事实与查询的关系，再检查短smoke测试不能替代配对、多距离和多种子验证。 实施范围见[实验路线C](experiments.html#experiment-C)。