S08.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取,也可选取下方原文复制。此入口返回 HTML;原始 .md / .py 文件仍保留,完整候选包同时包含 UTF-8 原件。

# S08 · 从 BOS 到 EOS 的完整生成

让完整目标按实际时间顺序出现,才能看清源条件保持不变而目标前缀逐步增长。

<span id="s08-b0"></span>

## 状态 b0

本步合法目标前缀为BOS,当前选择为I。选择后才接回下一步输入。

<span id="s08-b1"></span>

## 状态 b1

本步合法目标前缀为BOS I,当前选择为gave。选择后才接回下一步输入。

<span id="s08-b2"></span>

## 状态 b2

本步合法目标前缀为BOS I gave,当前选择为her。选择后才接回下一步输入。

<span id="s08-b3"></span>

## 状态 b3

本步合法目标前缀为BOS I gave her,当前选择为a。选择后才接回下一步输入。

<span id="s08-b4"></span>

## 状态 b4

本步合法目标前缀为BOS I gave her a,当前选择为book。选择后才接回下一步输入。

<span id="s08-b5"></span>

## 状态 b5

本步合法目标前缀为BOS I gave her a book,当前选择为yesterday。选择后才接回下一步输入。

<span id="s08-b6"></span>

## 状态 b6

本步合法目标前缀为BOS I gave her a book yesterday,当前选择为.。选择后才接回下一步输入。

<span id="s08-b7"></span>

## 状态 b7

本步合法目标前缀为BOS I gave her a book yesterday .,当前选择为EOS。EOS终止生成。

## 公式与算例详情

本页是教学构造的成功路径,不是报告某checkpoint恰好生成此句。源摘要$c$初始化decoder状态$s_0$;每步根据前一个已选token与旧状态得到新状态,再由词表头计算$p(y_t\mid y_{<t},x)$。画面维持同一固定源摘要,不冒充已具备逐源位置attention。

BOS是开始输入。八项目标为I、gave、her、a、book、yesterday、句号、EOS;当前要预测her时,合法目标前缀为BOS、I、gave,her不能提前输入。选择策略可以是贪心、采样或搜索,本页为了解释反馈机制沿一条构造路径走;不声称该路径代表概率最大或算法保证忠实。

生成停止可由EOS触发;实际系统还通常有最大长度等保护。若生成未给EOS而达到长度上限,应按明确评价规则处理,不能悄悄当作完整正确句。训练用参考前缀、生成用模型前缀的区别在下一页只改对应的输入线。

### 继续学习

[状态在流动,梯度可以停在边界](https://codingai-lec05.pages.dev/course/knowledge/recurrent-state-and-credit.html) · [LAB01:C · 共享参数的梯度到底加了几次?](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[路径 A:分数进步了,为什么这一句仍然错](https://codingai-lec05.pages.dev/course/knowledge/teacher-forcing-and-generation.html) · [LAB02:路径A · 分数进步了,为什么这一句仍然错](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导:[R24](course/R24.html) · [R25](course/R25.html) · [R26](course/R26.html) · [R12](course/R12.html)。