从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

中文读完以后,还缺怎样的系统?

T14 · 中文读完以后,还缺怎样的系统?

RNN或LSTM解释了如何读中文,仍需连接一个能开始、继续、停止的英文生成系统。

状态 b0

九个词与九个状态可见,末端摘要突出,准备连接目标生成。

状态 b1

第二方向源链出现;源可双向编码,目标不能读取未来答案。

公式与算例详情

当前完整源句已给定,编码器可以用单向末端状态,也可以用双向源编码等设计形成条件。本页双向示意是可选源编码能力的解释,不表示前面两步数值突然变成双向训练结果。

decoder未来输出在生成时不存在,不能照搬源全可见条件。下一页使用固定摘要初始化示意,从BOS逐词生成;这一选择为之后的动态读取提供可比较接口。

继续学习

状态在流动,梯度可以停在边界 · LAB01:C · 共享参数的梯度到底加了几次?

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

历史推导与原实验身份:S06 · S08 · S10。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。