R32 · 改需求和改内容,会造成同一种变化吗?
上一页算出了权重、context与词表分布。现在分别改变需求和内容,检验它们各自控制哪一段计算。
状态 b0
基线q、K、V和结果同时可见。先把权重与context两栏记作参照,后面两次干预分别与它比较。
状态 b1
只把q换成(0,1),第二个来源的权重增大,context也改变。K、V与输出头保持固定,变化来自读取需求。
源权重改变后仍需经过固定G;不能单凭这一行权重宣称模型转而预测yesterday。
状态 b3
q、K、V均恢复原值,前一次需求干预已撤销。下一次内容干预因此可独立解释。
状态 b2
从恢复后的基线只改V₂第二维,权重仍旧而context改变。热图没变并不足以确定传回内容。
公式与算例详情
从同一基线分出两条干预
基线仍是 $q=(1,0)$。只把 query 改为 $(0,1)$,保持 K、V 不变,分数变为 $(0,1,1)$,权重变为 $(0.155362,0.422319,0.422319)$,context 变为 $(0.733044,2.533913)$。改变需求会重新分配读取;此处对称的例子使前两个权重互换,第三个保持不变。
另一种实验恢复原 query 与 K,单独把第二个 value 从 $(0,4)$ 改为 $(0,8)$。分数和权重完全不变,但输出第二维增加 $0.155362\times4\approx0.621450$,新 context 为 $(1.266956,2.087537)$。因此“相同热图”不等于“相同输出”。
这是直接操纵张量的机制实验。真实网络中,同一输入通常同时影响 Q、K、V;不能把独立更改 V 描述成“自然语言只换一个词就只改 V”。两条干预都继续使用 R31 给定的词表投影 G;它的第三列为零,因此 yesterday 的 logit 恒为零。更改读取权重不等于这个给定模型就能选择 yesterday,必须继续核对 context、logits 与词表概率。
原课页采用记录:M19 匹配与传递内容。页码均按PDF物理页计。
继续学习
如果热图相同却不明白预测为何改变,读从读取到词预测的“读到同一位置,不一定传来同一内容”和“两条独立干预支路”。在LAB 02“E · 只改 q 或只改 V,分别会改变什么?”每次先恢复基线,再分别改 q、改 V,记录权重、c 与词表分布;用本页增量计算核对 0.621450,而非把第二次干预接在第一次之后。CLS 02“3 · 两次干预都回到同一个起点”解释这一控制。