Lecture 05 · 从 BOS 到 EOS 的完整生成

S08 · 从 BOS 到 EOS 的完整生成

让完整目标按实际时间顺序出现,才能看清源条件保持不变而目标前缀逐步增长。

状态 b0

本步合法目标前缀为BOS,当前选择为I。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOSI本步可见目标前缀源句已读完参数跨步共享选出后接回I

状态 b1

本步合法目标前缀为BOS I,当前选择为gave。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS Igave本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave

状态 b2

本步合法目标前缀为BOS I gave,当前选择为her。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gaveher本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave → her

状态 b3

本步合法目标前缀为BOS I gave her,当前选择为a。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gave hera本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave → her → a

状态 b4

本步合法目标前缀为BOS I gave her a,当前选择为book。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gave her abook本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave → her → a → book

状态 b5

本步合法目标前缀为BOS I gave her a book,当前选择为yesterday。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gave her a bookyesterday本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave → her → a → book → yesterday

状态 b6

本步合法目标前缀为BOS I gave her a book yesterday,当前选择为.。选择后才接回下一步输入。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gave her a book yesterday.本步可见目标前缀源句已读完参数跨步共享选出后接回I → gave → her → a → book → yesterday → .

状态 b7

本步合法目标前缀为BOS I gave her a book yesterday .,当前选择为EOS。EOS终止生成。

我 / 昨天 / 给了 / 她 / 一本 / 书Seq2Seq · 摘要初始化示意Encoder摘要 cDecoder 状态词表概率BOS I gave her a book yesterday .EOS本步可见目标前缀源句已读完参数跨步共享停止生成I → gave → her → a → book → yesterday → . → EOS

公式与算例详情

本页是教学构造的成功路径,不是报告某checkpoint恰好生成此句。源摘要$c$初始化decoder状态$s_0$;每步根据前一个已选token与旧状态得到新状态,再由词表头计算$p(y_t\mid y_{<t},x)$。画面维持同一固定源摘要,不冒充已具备逐源位置attention。

BOS是开始输入。八项目标为I、gave、her、a、book、yesterday、句号、EOS;当前要预测her时,合法目标前缀为BOS、I、gave,her不能提前输入。选择策略可以是贪心、采样或搜索,本页为了解释反馈机制沿一条构造路径走;不声称该路径代表概率最大或算法保证忠实。

生成停止可由EOS触发;实际系统还通常有最大长度等保护。若生成未给EOS而达到长度上限,应按明确评价规则处理,不能悄悄当作完整正确句。训练用参考前缀、生成用模型前缀的区别在下一页只改对应的输入线。

继续学习

状态在流动,梯度可以停在边界 · LAB01:C · 共享参数的梯度到底加了几次?

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

保留的完整推导:R24 · R25 · R26 · R12。