从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

收回读取接口,再问源表示怎样形成

T24 · 收回读取接口,再问源表示怎样形成

手算已经说明信息接口如何接到目标预测,接下来才评价当年的设计选择,并把视线从目标端移回源端。

状态 b0

局部三槽算例退出,回到九个循环源状态。共同机制是逐目标步重读源信息;点积手算不冒充2014的学习打分网络。

状态 b1

高亮各源状态形成的链,把问题从当前读取转向源端计算:还必须逐步等待吗?

公式与算例详情

Bahdanau 等2014预印本使用可学习的匹配网络;本轮现代点积小例只服务于接口手算。两者的共同研究选择是保存逐源位置表示,让每一步根据当前目标状态重新读取。原论文的翻译结果和长度分析支持继续探索,但一个人工参数例不能证明整条路线必然胜出。固定摘要、加宽状态、改状态更新仍是合理对照。原论文证据与旧实验完整保留在 translation-choices-2014 和 S17/S17R/S18 历史页。

继续学习

2014:先拥有一个可工作的翻译器,再决定改哪里 · LAB02:D/E · 固定源序,比较两种读取接口

从2017计算图到2020组合,再看持续状态系统 · LAB02:接着研究 · 哪个实验最便宜,又能区分解释?

历史推导与原实验身份:R28 · R29 · R37 · R59 · R38。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源