T65 · 性能结论必须带着阶段、形状与实现

独立资源展开；在默认T51后进入或课后自学，不计默认114分钟内容预算。

状态 b0

A100、B64、N1024、H16、head dim64，attention forward+backward：66.6→75.2GFLOPs，40.3→4.4GB HBM读写，41.7→7.3ms。

状态 b1

16token prefill之后32decode总时中位数cached19.95ms/full11.46ms，独立等价差2.22e−15；不是prefill+decode合计，也不是FA速度。

公式与算例详情

GPU来源：FlashAttention2022 v2物理页6 Figure2左表，GPT-2 medium attention forward+backward。CPU来源：原legacy_numpy.py route_g prefill独立计时，decode计时重置后32步；本轮无重跑、无改数值。

KV容量另外可按2×L×B×T×Hkv×dh×s估算，L32/B1/T4096/Hkv8/dh128/s2对应512MiB，只计KV payload。此公式保留于主线页说明及主题，不与HBM读写流量混为一个数字。

继续学习

给长前缀列一张有单位的资源账本 · LAB03：G · 旧 K/V 哪些可以沿用，哪些必须作废？

历史推导与原实验身份：R55 · R56 · R57。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/2205.14135v2：。原版本及采用边界见正文