从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

共享表示,还需要怎样组合?

T09 · 共享表示,还需要怎样组合?

学到单词表示后,还需要选择怎样形成句子的表示。能共享参数不等于已经表达句中关系。

状态 b0

邻词目标和翻译loss都能更新输入E,Word2vec并非必经前置步骤。

状态 b1

我给他与他给我具有相同均值但角色相反,因此需要处理顺序和组合。

公式与算例详情

词向量既可由独立邻词预测任务学习,也可在翻译模型中随最终翻译损失更新。两条路径说明训练目标的选择,不表示两套模型已经在课堂被实际训练。

“我给他”和“他给我”的三词向量多重集相同,因此简单平均相同,但给予关系改变。这个反例针对不含顺序信息的简单平均,并不是说所有池化方法都无法处理语义。回到九单位主句,接下来用同一规则沿顺序组合当前向量和前一步状态。

继续学习

同一句话怎样成为分析对象与模型输入 · LAB01:A · 邻居变多,bank 的表示会怎样变?

状态在流动,梯度可以停在边界 · LAB01:C · 共享参数的梯度到底加了几次?

历史推导与原实验身份:S04 · S05W。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。