从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

沿 gave 这一行,再走到 him 与 EOS

T33 · 沿 gave 这一行,再走到 him 与 EOS

完整架构已经展开,现在必须把各接口接回熟悉的翻译任务,才能检查有没有遗漏生成闭环。

状态 b0

目标只到BOS/I/gave,按masked self→cross→FFN及层叠到词表,下一词仍为问号。

状态 b1

词表分布选出him以后,将它接回下一步前缀;答案没有倒流成为本次query的输入。

状态 b2

沿相同循环继续a/book/yesterday/./EOS。句号与EOS是不同目标单位。下方是后续各步回放,上方gave行仅作路径参照。

公式与算例详情

画面选择合适译文来说明计算与反馈路径,不声称当前教学参数真实生成这句话。gave行的query既不包含当前答案him,也不包含未来英语;cross读取完整给定中文是合法的。自回归过程在词表分布中选词,追加选出的词后才形成下一输入。句号是内容单位,EOS负责结束序列。

继续学习

让整套 Transformer 共同完成一次预测 · LAB03:F · 跟着一个 token 穿过完整 encoder block

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

历史推导与原实验身份:R46 · B01 · R47。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源