S05W.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# S05W · 窗口之外，还有决定答案的事实

词表与窗口共享已经成立，但有限窗口只能接收其中的信息。让输入后缀保持相同而早期事实改变，可以明确指出缺少了哪条信息。

<span id="s05w-b0"></span>

## 状态 b0

两段文字仅开头红／蓝不同，末尾窗口完全相同；被截断的是决定答案的颜色事实。

<span id="s05w-b1"></span>

## 状态 b1

共享状态从开头事实接收信息，再沿后续输入更新；这是待学习的保存通路。

## 公式与算例详情

受控配对A开头为“钥匙放进红盒”，B只把红改成蓝；中间内容与末尾“钥匙在哪个盒子？”完全相同。若模型输入仅为同样的末尾窗口，其预测所依据的输入也相同，无法仅凭该输入区分红与蓝。

第二态增加一个随输入更新的状态，用来传递可能仍有用的早期信息。这是结构动机，尚未给出模型已学会保存颜色的成绩。更长的输入容纳能力、保存通路与实际事实利用能力是相关而不同的问题。

### 继续学习

[从一条混排消息到模型的输入](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html) · [LAB01：A · 邻居变多，bank 的表示会怎样变？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[把预测、训练与评价摊在同一张样本表上](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html) · [LAB01：B · 同一预测目标，三个模型；训练一次，生成多次](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导：[R14](course/R14.html) · [R15](course/R15.html) · [R16](course/R16.html)。