R13.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R13 · 生成时，接回的是自己刚选出的词

训练时整条正确文本已知；真正生成新文本时，这份帮助消失。本页撤去真实后续词，追踪选词、回送和下一次可见输入。

<span id="r13-b0"></span>

## 状态 b0

book、pen、key先各有概率；greedy选最大项，sampling按分布选择。预测分布与选择规则在图中分开。

<span id="r13-b2"></span>

## 状态 b2

book已加入前缀，二词窗口现在只见a book。观察退出左边界的旧词，由此提出用状态保留历史的需要。

<span id="r13-b1"></span>

## 状态 b1

降低温度后分布更尖，候选排序未变。对照原概率，区分集中程度变化与输入信息变化。

## 公式与算例详情

本例前缀为I gave her a，book、pen、key的概率为给定构造值，不是生成质量实验。选中book后，二词窗口由her a变为a book。

模型给分布，解码策略决定怎样选token。Greedy取最大概率；sampling按分布抽样；温度T用$\operatorname{softmax}(z/T)$改变集中程度。对概率$[0.6,0.3,0.1]$，T=0.5相当于平方再归一化，得到$[0.7826,0.1957,0.0217]$。

每生成一个token，就把它加入前缀再计算下一步，直到EOS或长度上限。降低温度不会增加模型看不到的信息。固定窗口之外的线索，要么扩窗，要么以状态保存，要么设计其他读取方式；这些选择构成本讲后续的研究问题。

原课页采用记录：[M09 状态更新与参数共享](sources.html#M09)、[M11 训练与生成如何不同](sources.html#M11)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R13)：追加 book 并更新两词窗口，圈出退出窗口的词；整理成下一轮可见前缀。

若想看同一模型为何能生成不同文本，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：固定参数，只改生成选择，并核对原始logits下测试NLL是否保持不变。 实施范围见[实验路线B](experiments.html#experiment-B)。