把账本放回片上工作区，减少显存往返
T64 · 把账本放回片上工作区，减少显存往返
独立资源展开；在默认T51后进入或课后自学，不计默认114分钟内容预算。
状态 b0
多query阶段的朴素流程QKᵀ→S，S显存往返后softmax→P，P再往返后PV→O。
状态 b1
块在片上使用并更新账本，完整S/P不落HBM；改变搬运不改变dense成对算术阶。
公式与算例详情
FlashAttention依据2022论文2205.14135v2的IO-aware组织。图为简化forward接口，实际高效实现还涉及tiling、重计算与反向策略；不要把简图当完整CUDA实现。
继续学习
历史推导与原实验身份：R57。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。
原始来源
- https://arxiv.org/pdf/2205.14135v2：。原版本及采用边界见正文