从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

加上新块,再与17/3对照

T63 · 加上新块,再与17/3对照

独立资源展开;在默认T51后进入或课后自学,不计默认114分钟内容预算。

状态 b0

exp(ln3−ln3)=1,新分母贡献1,新分子贡献1×8=8。

状态 b1

l=1+1=2,u=10/3+8=34/3,O=17/3。

状态 b2

得到同一数学输出;实际浮点实现以容差等价校验,不宣称逐比特完全一致。

公式与算例详情

全量权重(1/6,2/6,3/6)与在线最后m=ln3,l=2,u=34/3对应同一结果。符号u可为向量,此处用标量value以便手算;真实每query的输出内容维度并未消失。

若把两个局部输出 10/3 与 8 直接等权平均,这一次确实也得到 17/3。原因是未减最大值时,两块的指数权重总量分别为 1+2=3 与 3,恰好相等;等权平均在这个特例成立。此例的教学任务是核对共同基准的重缩放。一般两块权重总量不同,只有保留分母与加权和并按共同基准合并,才能正确恢复全局输出。

继续学习

给长前缀列一张有单位的资源账本 · LAB03:G · 旧 K/V 哪些可以沿用,哪些必须作废?

历史推导与原实验身份:R57。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源