R54.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R54 · 每多一个词，哪些旧计算又做了一遍？ 视觉条件已经接进描述，但文字仍逐词生成。换回熟悉短前缀，暂时移开视觉分支，只看追加一个词造成了哪些重复计算。 <span id="r54-b0"></span> ## 状态 b0 I gave前向的最后位置分布用于选择her。旧分布回答旧前缀的问题，新词尚未作为输入计算。 <span id="r54-b1"></span> ## 状态 b1 追加her后重新运行前缀，旧位置重复处理。因果边界让旧位置不能看新her，因此它们的中间结果值得检查是否可复用。 旧logits回答旧前缀；可尝试复用的是中间量，不能把旧词表分布直接当新答案。 ## 公式与算例详情 ### 从相邻两次生成看到重复计算 第一次以前缀 I gave 预测下一词，选出 her 后，第二次输入变成 I gave her。若每次都对完整前缀重算，旧位置的投影和各层表示会再次计算。旧位置的 logits 只能回答它当时的下一词问题，不能直接充当新增 her 位置的答案；可复用的中间量须由因果依赖来判断，下一页逐层检查 K/V。 ### 选词规则决定怎样扩展前缀 训练有已知目标序列，可以配合移位与因果 mask 为多个位置计算损失；生成的下一个 token 尚未知，须先选择再接回。Greedy 取最大概率，温度改变分布尖锐程度，top-k 保留概率最高的 k 项，top-p 保留累计概率达到阈值的最小候选集合，并在保留项上重新归一化。 这些策略改变输出选择，不改变已训练参数。随机采样的复现需要固定随机种子和实现，单次输出更流畅也不说明模型概率更准确。EOS 或规定的最大生成长度使循环停止；预测 EOS 与达到长度上限是不同停止原因。 ### 参考与采用 - [Language Models are Unsupervised Multitask Learners](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)：Autoregressive Transformer language modeling; GPT-2 moves layer norm to each sub-block input and adds a final layer norm. 复核位置：Section 2 language-model factorization and section 2.3 model read from official PDF. 原课页采用记录：[M11 训练与生成如何不同](sources.html#M11)、[M29 从 block 到 LM 训练](sources.html#M29)。页码均按PDF物理页计。 ### 继续学习 若不确定相邻生成中到底重复了什么，读[prefill 与 decode 各做什么](https://codingai-lec05.pages.dev/course/knowledge/resource-ledger.html#resource-ledger-s01)，沿[I gave→I gave her 的两次前向](lecture.html#read-R54)把旧 logits 与可复用中间量分开。[CLS 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-03-719b25c7c5b64687998ba9c19d2f6776?utm_content=719b25c7c5b64687998ba9c19d2f6776&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“5 · 为什么旧 K/V 能保留”接着说明条件；[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“G · 旧 K/V 哪些可以沿用，哪些必须作废？”比较完整重算与增量路径，不用旧位置答案替代新位置预测。