从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

参考译文怎样放到输入与标签两侧?

T16 · 参考译文怎样放到输入与标签两侧?

完整生成路径已经走通,训练需要把成对译文转成每个位置的预测任务。正确过去与当前批改答案要严格分开。

状态 b0

输入BOS/I/gave/…/句号对应标签I/gave/him/…/EOS。

状态 b1

当前合法前缀BOS I gave,不含him;him只在这列标签端。

公式与算例详情

teacher forcing输入为BOS、I、gave、him、a、book、yesterday、.;标签为I、gave、him、a、book、yesterday、.、EOS。同一列的输入预测下一项标签。

在gave列,模型只接收BOS I gave作为目标历史,him是当前批改的答案,不能提前输入。训练时正确过去来自参考译文;实际生成则接回自己的选择,两种条件将在后页同图比较。源中文仍是完整已知条件。

继续学习

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

历史推导与原实验身份:S09。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。