从BOS出发,把这一句写到EOS
T15 · 从BOS出发,把这一句写到EOS
源编码必须接成完整序列系统。此页每一步都经过当前输入、decoder状态、词表分布、选词和回送,直到结束标记。
状态 b0
c_src=h_n,初始化s₀=g(c_src);BOS与s₀共同产生s₁,s₁才进入词表分布。下一词尚未选择。
状态 b1
第一步仍是BOS与s₀产生s₁;现在从s₁的词表分布选出I,I只进入下一步的新输入。
状态 b2
本步只新输入I,与上一状态s1共同产生s2,再给出词表分布并选出gave。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b3
本步只新输入gave,与上一状态s2共同产生s3,再给出词表分布;下一词仍未选择,him不进入当前输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b4
本步只新输入gave,与上一状态s2共同产生s3,再给出词表分布并选出him。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b5
本步只新输入him,与上一状态s3共同产生s4,再给出词表分布并选出a。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b6
本步只新输入a,与上一状态s4共同产生s5,再给出词表分布并选出book。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b7
本步只新输入book,与上一状态s5共同产生s6,再给出词表分布并选出yesterday。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b8
本步只新输入yesterday,与上一状态s6共同产生s7,再给出词表分布并选出.。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
状态 b9
本步只新输入.,与上一状态s7共同产生s8,再给出词表分布并选出EOS。选到EOS后停止。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。
公式与算例详情
课堂固定采用初始化版本:完整中文编码后取 c_src=h_n,再建立 decoder 起始状态 s₀=g(c_src)。第一个更新是 s₁=f(s₀,e(BOS)),由 s₁ 形成 I 的词表分布;其后 s_t=f(s_(t−1),e(y_(t−1)))。每步有两条当前输入:上一 decoder 状态与本步新 token。源初始化在后续图中退为可追踪背景,不画成每步重复注入的活动箭头。旁边显示的完整合法前缀帮助读者核对已知条件,并不表示整段前缀每步重新输入这个 RNN。
s 是 decoder 递推状态的总记号;若使用 LSTM,它可包含 hidden 与 cell。c_src 只表示编码后的整句源摘要,既不是 LSTM cell,也不是后续 attention 的动态读回内容 c。不同 Seq2Seq 可以选择不同条件注入安排;LAB02 保留原有真实实现、结果和解释,本页没有把它改成初始化版本。
BOS是输入侧开始标记;目标依次为I、gave、him、a、book、yesterday、.、EOS,共八项,目标长度不必等于源长度。这一页选择合适译文来展示路径,不声称给定二维参数或未训练小模型产生了该句。词表分布框代表完整预测接口,没有无依据的概率数字。b3停在合法前缀BOS I gave,him尚未选出;b4才揭示。句号不替代EOS。
缩时可快速连播a、book等中间词,但保留初始化、第一次状态更新、未知下一词、时间、句号和终止。
继续学习
历史推导与原实验身份:S08。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。
原始来源
- https://arxiv.org/pdf/1409.3215v1:。原版本及采用边界见正文