让完整目标按实际时间顺序出现,才能看清源条件保持不变而目标前缀逐步增长。
状态 b0
本步合法目标前缀为BOS,当前选择为I。选择后才接回下一步输入。
状态 b1
本步合法目标前缀为BOS I,当前选择为gave。选择后才接回下一步输入。
状态 b2
本步合法目标前缀为BOS I gave,当前选择为her。选择后才接回下一步输入。
状态 b3
本步合法目标前缀为BOS I gave her,当前选择为a。选择后才接回下一步输入。
状态 b4
本步合法目标前缀为BOS I gave her a,当前选择为book。选择后才接回下一步输入。
状态 b5
本步合法目标前缀为BOS I gave her a book,当前选择为yesterday。选择后才接回下一步输入。
状态 b6
本步合法目标前缀为BOS I gave her a book yesterday,当前选择为.。选择后才接回下一步输入。
状态 b7
本步合法目标前缀为BOS I gave her a book yesterday .,当前选择为EOS。EOS终止生成。
本页是教学构造的成功路径,不是报告某checkpoint恰好生成此句。源摘要$c$初始化decoder状态$s_0$;每步根据前一个已选token与旧状态得到新状态,再由词表头计算$p(y_t\mid y_{<t},x)$。画面维持同一固定源摘要,不冒充已具备逐源位置attention。
BOS是开始输入。八项目标为I、gave、her、a、book、yesterday、句号、EOS;当前要预测her时,合法目标前缀为BOS、I、gave,her不能提前输入。选择策略可以是贪心、采样或搜索,本页为了解释反馈机制沿一条构造路径走;不声称该路径代表概率最大或算法保证忠实。
生成停止可由EOS触发;实际系统还通常有最大长度等保护。若生成未给EOS而达到长度上限,应按明确评价规则处理,不能悄悄当作完整正确句。训练用参考前缀、生成用模型前缀的区别在下一页只改对应的输入线。