从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

从BOS出发,把这一句写到EOS

T15 · 从BOS出发,把这一句写到EOS

源编码必须接成完整序列系统。此页每一步都经过当前输入、decoder状态、词表分布、选词和回送,直到结束标记。

状态 b0

c_src=h_n,初始化s₀=g(c_src);BOS与s₀共同产生s₁,s₁才进入词表分布。下一词尚未选择。

状态 b1

第一步仍是BOS与s₀产生s₁;现在从s₁的词表分布选出I,I只进入下一步的新输入。

状态 b2

本步只新输入I,与上一状态s1共同产生s2,再给出词表分布并选出gave。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b3

本步只新输入gave,与上一状态s2共同产生s3,再给出词表分布;下一词仍未选择,him不进入当前输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b4

本步只新输入gave,与上一状态s2共同产生s3,再给出词表分布并选出him。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b5

本步只新输入him,与上一状态s3共同产生s4,再给出词表分布并选出a。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b6

本步只新输入a,与上一状态s4共同产生s5,再给出词表分布并选出book。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b7

本步只新输入book,与上一状态s5共同产生s6,再给出词表分布并选出yesterday。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b8

本步只新输入yesterday,与上一状态s6共同产生s7,再给出词表分布并选出.。选词只供下一步输入。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

状态 b9

本步只新输入.,与上一状态s7共同产生s8,再给出词表分布并选出EOS。选到EOS后停止。 源摘要的影响从初始化沿状态传递,完整合法前缀只作旁边的阅读参照。

公式与算例详情

课堂固定采用初始化版本:完整中文编码后取 c_src=h_n,再建立 decoder 起始状态 s₀=g(c_src)。第一个更新是 s₁=f(s₀,e(BOS)),由 s₁ 形成 I 的词表分布;其后 s_t=f(s_(t−1),e(y_(t−1)))。每步有两条当前输入:上一 decoder 状态与本步新 token。源初始化在后续图中退为可追踪背景,不画成每步重复注入的活动箭头。旁边显示的完整合法前缀帮助读者核对已知条件,并不表示整段前缀每步重新输入这个 RNN。

s 是 decoder 递推状态的总记号;若使用 LSTM,它可包含 hidden 与 cell。c_src 只表示编码后的整句源摘要,既不是 LSTM cell,也不是后续 attention 的动态读回内容 c。不同 Seq2Seq 可以选择不同条件注入安排;LAB02 保留原有真实实现、结果和解释,本页没有把它改成初始化版本。

BOS是输入侧开始标记;目标依次为I、gave、him、a、book、yesterday、.、EOS,共八项,目标长度不必等于源长度。这一页选择合适译文来展示路径,不声称给定二维参数或未训练小模型产生了该句。词表分布框代表完整预测接口,没有无依据的概率数字。b3停在合法前缀BOS I gave,him尚未选出;b4才揭示。句号不替代EOS。

缩时可快速连播a、book等中间词,但保留初始化、第一次状态更新、未知下一词、时间、句号和终止。

继续学习

2014:先拥有一个可工作的翻译器,再决定改哪里 · LAB02:D/E · 固定源序,比较两种读取接口

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

历史推导与原实验身份:S08。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源