Lecture 05 · 窗口之外,还有决定答案的事实

S05W · 窗口之外,还有决定答案的事实

词表与窗口共享已经成立,但有限窗口只能接收其中的信息。让输入后缀保持相同而早期事实改变,可以明确指出缺少了哪条信息。

状态 b0

两段文字仅开头红/蓝不同,末尾窗口完全相同;被截断的是决定答案的颜色事实。

同一个末尾窗口,需要两个不同答案钥匙放进红盒…相同的中间内容…钥匙在哪个盒子?钥匙放进蓝盒…相同的中间内容…钥匙在哪个盒子?只有相同的末尾窗口,预测依据也相同。A 的答案是红;B 的答案是蓝。只改变开头事实。

状态 b1

共享状态从开头事实接收信息,再沿后续输入更新;这是待学习的保存通路。

同一个末尾窗口,需要两个不同答案钥匙放进红盒…相同的中间内容…钥匙在哪个盒子?状态 hₜ钥匙放进蓝盒…相同的中间内容…钥匙在哪个盒子?状态 hₜ用共享更新规则,把窗口外的事实带到当前位置。A 的答案是红;B 的答案是蓝。只改变开头事实。

公式与算例详情

受控配对A开头为“钥匙放进红盒”,B只把红改成蓝;中间内容与末尾“钥匙在哪个盒子?”完全相同。若模型输入仅为同样的末尾窗口,其预测所依据的输入也相同,无法仅凭该输入区分红与蓝。

第二态增加一个随输入更新的状态,用来传递可能仍有用的早期信息。这是结构动机,尚未给出模型已学会保存颜色的成绩。更长的输入容纳能力、保存通路与实际事实利用能力是相关而不同的问题。

继续学习

从一条混排消息到模型的输入 · LAB01:A · 邻居变多,bank 的表示会怎样变?

把预测、训练与评价摊在同一张样本表上 · LAB01:B · 同一预测目标,三个模型;训练一次,生成多次

保留的完整推导:R14 · R15 · R16。