R54 · 每多一个词，哪些旧计算又做了一遍？

视觉条件已经接进描述，但文字仍逐词生成。换回熟悉短前缀，暂时移开视觉分支，只看追加一个词造成了哪些重复计算。

状态 b0

I gave前向的最后位置分布用于选择her。旧分布回答旧前缀的问题，新词尚未作为输入计算。

状态 b1

追加her后重新运行前缀，旧位置重复处理。因果边界让旧位置不能看新her，因此它们的中间结果值得检查是否可复用。

旧logits回答旧前缀；可尝试复用的是中间量，不能把旧词表分布直接当新答案。

公式与算例详情

从相邻两次生成看到重复计算

第一次以前缀 I gave 预测下一词，选出 her 后，第二次输入变成 I gave her。若每次都对完整前缀重算，旧位置的投影和各层表示会再次计算。旧位置的 logits 只能回答它当时的下一词问题，不能直接充当新增 her 位置的答案；可复用的中间量须由因果依赖来判断，下一页逐层检查 K/V。

选词规则决定怎样扩展前缀

训练有已知目标序列，可以配合移位与因果 mask 为多个位置计算损失；生成的下一个 token 尚未知，须先选择再接回。Greedy 取最大概率，温度改变分布尖锐程度，top-k 保留概率最高的 k 项，top-p 保留累计概率达到阈值的最小候选集合，并在保留项上重新归一化。

这些策略改变输出选择，不改变已训练参数。随机采样的复现需要固定随机种子和实现，单次输出更流畅也不说明模型概率更准确。EOS 或规定的最大生成长度使循环停止；预测 EOS 与达到长度上限是不同停止原因。

参考与采用

Language Models are Unsupervised Multitask Learners：Autoregressive Transformer language modeling; GPT-2 moves layer norm to each sub-block input and adds a final layer norm. 复核位置：Section 2 language-model factorization and section 2.3 model read from official PDF.

原课页采用记录：M11 训练与生成如何不同、M29 从 block 到 LM 训练。页码均按PDF物理页计。

继续学习

若不确定相邻生成中到底重复了什么，读prefill 与 decode 各做什么，沿I gave→I gave her 的两次前向把旧 logits 与可复用中间量分开。CLS 03“5 · 为什么旧 K/V 能保留”接着说明条件；LAB 03“G · 旧 K/V 哪些可以沿用，哪些必须作废？”比较完整重算与增量路径，不用旧位置答案替代新位置预测。