从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

回到同一句话,看清我们改变过哪些接口

T52 · 回到同一句话,看清我们改变过哪些接口

同一句给书事件经历了翻译、表示、状态、读取、图文条件与资源安排。用这段简短回访重新定位其中一个转折,再作一次研究选择。

状态 b0

原句九单位回来,词性、结构、词典短语曾真实完成翻译,再由表示、共享状态和Seq2Seq生成到EOS。

状态 b1

保留源位置,使当前目标步重读源;再重新组织源表示计算形成完整Transformer,不把后来路线说成唯一必然。

状态 b2

新图提供颜色,明确扩展描述任务;表示、读取、训练与资源都在同一次条件生成中相接。

公式与算例详情

各次改动针对不同问题:动态读取改变当前目标步取得源信息的路径,Transformer 改变序列内部的计算组织,图文任务增加可用条件,缓存与分块改变计算和存储安排。回看这些路线时,结构理由与任务结果要一起评价,后来的成功并不使其他合理选择自动失效。

继续学习

2014:先拥有一个可工作的翻译器,再决定改哪里 · LAB02:D/E · 固定源序,比较两种读取接口

读取之后,系统怎样决定写 him · LAB02:E · 只改 q 或只改 V,分别会改变什么?

路径 B:换图后分布变了,模型是否看懂了 · LAB03:路径B · 换图后分布变了,模型是否看懂了

历史推导与原实验身份:R59。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。