T51 · 一次 attention 内，哪些大表不必写回显存

上一页在生成步之间复用旧 K/V；这一页切换到 prefill 或训练中的多 query 阶段，观察一次 attention 内部的中间表如何读写显存。

状态 b0

整段已知输入一起形成多个query，query×key成对表可为N×N；不混同一步decode的1×t。

状态 b1

朴素安排先算QKᵀ得到S，完整分数表被写入GPU HBM。

状态 b2

对key轴归一化得到P，再将完整权重表写回显存。

状态 b3

读回P与V作PV→O；算术、显存容量和搬运是不同工作。

状态 b4

Q/K/V分块进入片上工作区，局部S/P即时使用，保留可接续累计量，不物化完整S/P；dense算术仍为O(N²d)。

公式与算例详情

HBM 是 GPU 显存，图中的片上工作区较小而快。朴素安排把完整分数 S 与权重 P 写出再读回；分块安排保留每个 query 的归一化累计，让局部 S/P 用完即可消去。数学目标仍是同一 attention 输出，dense 成对算术仍为 O(N²d)。

跨 key 块组合时，要把分母和加权分子换到共同基准；一般不能把每块归一化的输出直接相加或等权平均。完整 m/l/u 与 17/3 重缩放算例见独立 11 分钟 T60–T65。该算例两块的未归一化权重总量碰巧相等，因此等权平均恰好也得到相同值；这不是一般组合规则。

FlashAttention 2022 arXiv v2 的原性能表及适用条件保留在展开材料；小 CPU / NumPy 缓存记录属于不同硬件、规模与阶段，不能作为这里的 GPU 加速证据。

继续学习

路径 C：材料放得下，不代表采用了当前事实 · LAB03：路径C · 材料放得下，不代表采用了当前事实

给长前缀列一张有单位的资源账本 · LAB03：G · 旧 K/V 哪些可以沿用，哪些必须作废？

历史推导与原实验身份：R55 · R56 · R57。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/2205.14135v2：。原版本及采用边界见正文