S05W · 窗口之外,还有决定答案的事实
词表与窗口共享已经成立,但有限窗口只能接收其中的信息。让输入后缀保持相同而早期事实改变,可以明确指出缺少了哪条信息。
状态 b0
两段文字仅开头红/蓝不同,末尾窗口完全相同;被截断的是决定答案的颜色事实。
状态 b1
共享状态从开头事实接收信息,再沿后续输入更新;这是待学习的保存通路。
公式与算例详情
受控配对A开头为“钥匙放进红盒”,B只把红改成蓝;中间内容与末尾“钥匙在哪个盒子?”完全相同。若模型输入仅为同样的末尾窗口,其预测所依据的输入也相同,无法仅凭该输入区分红与蓝。
第二态增加一个随输入更新的状态,用来传递可能仍有用的早期信息。这是结构动机,尚未给出模型已学会保存颜色的成绩。更长的输入容纳能力、保存通路与实际事实利用能力是相关而不同的问题。