从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

先算全量输出,给分块留下核对目标

T60 · 先算全量输出,给分块留下核对目标

独立资源展开;在默认T51后进入或课后自学,不计默认114分钟内容预算。

状态 b0

教学分数0、ln2、ln3,对应values 2、4、8。

状态 b1

指数为1、2、3,分母6,概率1/6、2/6、3/6。

状态 b2

加权和2/6+8/6+24/6=34/6=17/3。

公式与算例详情

同一行attention的精确教学算例。输入值与输出17/3沿用R7.1有效算法演示,不声称来自新图或已训练语义。

继续学习

路径 C:材料放得下,不代表采用了当前事实 · LAB03:路径C · 材料放得下,不代表采用了当前事实

给长前缀列一张有单位的资源账本 · LAB03:G · 旧 K/V 哪些可以沿用,哪些必须作废?

历史推导与原实验身份:R57。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源