从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

每个位置给监督,整句仍要自己生成

T18 · 每个位置给监督,整句仍要自己生成

一个输出头的loss是局部监督。多个目标位置共同更新共享参数,使用时还要检查系统在自己的历史上能否完整生成。

状态 b0

包括EOS的八个位置都提供目标,梯度汇到输出头、decoder、encoder和embedding。

状态 b1

正确前缀与自选前缀分开;greedy/beam仅说明选择方式,检查需从BOS走到EOS。

公式与算例详情

每个目标位置,包括结束标记,都可产生负对数损失;这些项的梯度通过各自计算路径汇到共享参数。共享θ不意味着各位置h或decoder状态相同。

teacher forcing使用正确过去,生成接回自身选词。greedy选择当前最大概率,beam search保留有限候选前缀并继续比较;完整搜索树和旧反转任务的实际失败样本留在历史阅读与Notebook,默认课堂不切换任务。整句生成质量不能由某个词loss独立宣布。

继续学习

把预测、训练与评价摊在同一张样本表上 · LAB01:B · 同一预测目标,三个模型;训练一次,生成多次

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

历史推导与原实验身份:S09 · S18。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。