从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

首块先留分母与分子,而不只留局部答案

T61 · 首块先留分母与分子,而不只留局部答案

独立资源展开;在默认T51后进入或课后自学,不计默认114分钟内容预算。

状态 b0

m为当前最大分数;l为Σexp(score−m),u为相同权重的内容加权和,O=u/l。

状态 b1

首块scores0、ln2,m=ln2;权重变为1/2、1,而不是未移位的1、2。

状态 b2

当前输出10/3。保留账本三项,局部scores与weights可即用即消。

公式与算例详情

m/l/u均按每个query独立保存。减最大值的数学等价性来自分子分母同乘exp(−m)。此特定两块的未移位质量恰好均为3,局部输出等平均会偶然正确;不把它作为“平均必错”的反例。一般拼接必须保留块质量与共同基准。

继续学习

给长前缀列一张有单位的资源账本 · LAB03:G · 旧 K/V 哪些可以沿用,哪些必须作废?

历史推导与原实验身份:R57。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源