R32.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R32 · 改需求和改内容，会造成同一种变化吗？ 上一页算出了权重、context与词表分布。现在分别改变需求和内容，检验它们各自控制哪一段计算。 <span id="r32-b0"></span> ## 状态 b0 基线q、K、V和结果同时可见。先把权重与context两栏记作参照，后面两次干预分别与它比较。 <span id="r32-b1"></span> ## 状态 b1 只把q换成(0,1)，第二个来源的权重增大，context也改变。K、V与输出头保持固定，变化来自读取需求。 源权重改变后仍需经过固定G；不能单凭这一行权重宣称模型转而预测yesterday。 <span id="r32-b3"></span> ## 状态 b3 q、K、V均恢复原值，前一次需求干预已撤销。下一次内容干预因此可独立解释。 <span id="r32-b2"></span> ## 状态 b2 从恢复后的基线只改V₂第二维，权重仍旧而context改变。热图没变并不足以确定传回内容。 ## 公式与算例详情 ### 从同一基线分出两条干预 基线仍是 $q=(1,0)$。只把 query 改为 $(0,1)$，保持 K、V 不变，分数变为 $(0,1,1)$，权重变为 $(0.155362,0.422319,0.422319)$，context 变为 $(0.733044,2.533913)$。改变需求会重新分配读取；此处对称的例子使前两个权重互换，第三个保持不变。 另一种实验恢复原 query 与 K，单独把第二个 value 从 $(0,4)$ 改为 $(0,8)$。分数和权重完全不变，但输出第二维增加 $0.155362\times4\approx0.621450$，新 context 为 $(1.266956,2.087537)$。因此“相同热图”不等于“相同输出”。 这是直接操纵张量的机制实验。真实网络中，同一输入通常同时影响 Q、K、V；不能把独立更改 V 描述成“自然语言只换一个词就只改 V”。两条干预都继续使用 R31 给定的词表投影 G；它的第三列为零，因此 yesterday 的 logit 恒为零。更改读取权重不等于这个给定模型就能选择 yesterday，必须继续核对 context、logits 与词表概率。 原课页采用记录：[M19 匹配与传递内容](sources.html#M19)。页码均按PDF物理页计。 ### 继续学习 如果热图相同却不明白预测为何改变，读[从读取到词预测](https://codingai-lec05.pages.dev/course/knowledge/attention-to-prediction.html)的“读到同一位置，不一定传来同一内容”和“两条独立干预支路”。在[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“E · 只改 q 或只改 V，分别会改变什么？”每次先恢复基线，再分别改 q、改 V，记录权重、c 与词表分布；用[本页增量计算](lecture.html#read-R32)核对 0.621450，而非把第二次干预接在第一次之后。[CLS 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-02-Attention-Transformer-2d44adcb6f3d409aa7dfb25c21a748a3?utm_content=2d44adcb6f3d409aa7dfb25c21a748a3&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“3 · 两次干预都回到同一个起点”解释这一控制。