R57.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R57 · 内存、执行效率、事实使用，分别测

事实用得准只是系统表现的一项。长材料还涉及存储与执行，把三类问题分开测，才能判断一个改动究竟改善了什么。

<span id="r57-b0"></span>

## 状态 b0

显式分数表按位置对增长：长度翻倍，面积四倍。核对本图存的是score，不能把它与按位置线性增长的KV混为一项。

这笔数只数单层分数张量；不能直接当作模型总显存。

<span id="r57-b1"></span>

## 状态 b1

分块与在线累计避免完整大表物化，同时保留精确读取。改变的是执行与IO组织，不是把所有密集位置对删除。

<span id="r57-b2"></span>

## 状态 b2

同一前缀的存储/延迟与钥匙配对正确性分列。给每列匹配自己的指标和固定条件，避免用一种改进代替另一种证据。

这张表是待测指标设计，不是新增性能或准确率结果。

## 公式与算例详情

### 先说明这笔内存属于什么

单层、batch=1、64 个 head、长度100000，若完整存储 FP16 attention scores，则需要 $64\times100000^2\times2=1{,}280{,}000{,}000{,}000$ 字节，即1.28 TB，约1.164153 TiB。本例只计算该分数张量，不是模型总显存，更不是所有实现都必须占用的显存下限。

FlashAttention 通过分块、减少 IO 与精确计算，避免完整物化这张分数表；密集两两配对的算术量仍随长度平方增长。稀疏连接与压缩历史状态则改变连接或保存的信息，属于另外的结构选择，不能与“不完整保存同一张密集表”混为一谈。

### 用三组测量回答三个问题

存储问题报告峰值显存、给定预算下可运行的最大长度，并注明 batch、层数、头数、精度和 KV 实现。执行问题在相同模型、输入输出长度、batch、精度、硬件与 warmup 规则下，分别重复测量 prefill／首词延迟与 decode 每步延迟或吞吐，不能只报理想 FLOPs。事实使用问题则在钥匙成对任务中改变事实位置与无关干扰，记录两句都对的比例及按位置分组的结果，避免用单句平均掩盖失败。

能存下、更快和采用了正确事实是三个独立判断；上述测量方案没有在本轮产生新结果。

### 参考与采用

- [FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness](https://arxiv.org/abs/2205.14135)：Exact attention with tiling that reduces HBM reads/writes and avoids materializing the full N×N attention matrix. 复核位置：Primary abstract read and compared to V-Attn physical p78–79.

原课页采用记录：[M33 attention 计算和内存](sources.html#M33)。页码均按PDF物理页计。

### 继续学习

如果问题是内存或速度，读[长前缀的资源账本](https://codingai-lec05.pages.dev/course/knowledge/resource-ledger.html)，在[CLS 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-03-719b25c7c5b64687998ba9c19d2f6776?utm_content=719b25c7c5b64687998ba9c19d2f6776&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“6 · 少算、少存、更快，是不同测量”及[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook) G 段核对 payload、prefill、decode 与真实计时；用[单层分数张量的单位换算](lecture.html#read-R57)检查 TB／TiB 与 FP16 前提。如果问题是采用了哪个事实，另读[缓存与有效上下文](https://codingai-lec05.pages.dev/course/knowledge/cache-and-effective-context.html)与 LAB 03“路径C · 材料放得下，不代表采用了当前事实”，并按[三类指标的受控设计](experiments.html#r5-controlled)给出成对准确率。速度记录不能替代事实使用检查。