R13 · 生成时，接回的是自己刚选出的词
训练时整条正确文本已知；真正生成新文本时，这份帮助消失。本页撤去真实后续词，追踪选词、回送和下一次可见输入。
状态 b0
book、pen、key先各有概率；greedy选最大项，sampling按分布选择。预测分布与选择规则在图中分开。
状态 b2
book已加入前缀，二词窗口现在只见a book。观察退出左边界的旧词，由此提出用状态保留历史的需要。
状态 b1
降低温度后分布更尖，候选排序未变。对照原概率，区分集中程度变化与输入信息变化。
公式与算例详情
本例前缀为I gave her a，book、pen、key的概率为给定构造值，不是生成质量实验。选中book后，二词窗口由her a变为a book。
模型给分布，解码策略决定怎样选token。Greedy取最大概率；sampling按分布抽样；温度T用$\operatorname{softmax}(z/T)$改变集中程度。对概率$[0.6,0.3,0.1]$，T=0.5相当于平方再归一化，得到$[0.7826,0.1957,0.0217]$。
每生成一个token，就把它加入前缀再计算下一步，直到EOS或长度上限。降低温度不会增加模型看不到的信息。固定窗口之外的线索，要么扩窗，要么以状态保存，要么设计其他读取方式；这些选择构成本讲后续的研究问题。
原课页采用记录：M09 状态更新与参数共享、M11 训练与生成如何不同。页码均按PDF物理页计。
继续学习
本页自学核对：追加 book 并更新两词窗口，圈出退出窗口的词；整理成下一轮可见前缀。
若想看同一模型为何能生成不同文本，可进入《把预测、训练与评价摊在同一张样本表上》；动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：固定参数，只改生成选择，并核对原始logits下测试NLL是否保持不变。 实施范围见实验路线B。