从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

词的地址怎样变成可学习的一行数?

T07 · 词的地址怎样变成可学习的一行数?

统计系统已经会学习。这里改进的是词如何进入可共享计算:从地址到身份向量,再到可学习参数行。

状态 b0

ID用于查找,不编码语义远近。

状态 b1

书对应第8个位置的一位为1;不同词one-hot点积为0。

状态 b2

one-hot的唯一非零位置选出E[8],得到可学习的embedding。

状态 b3

另一处书指向同一E行,跨样本共享而非每次重新创建。

公式与算例详情

此处教学词表仅列九单位并用ID1至9标示,书为8。ID是地址,数值大小不表达含义远近。one-hot书=(0,0,0,0,0,0,0,1,0);不同单位身份向量的点积为0。

embedding表E为每个词分配可学习向量,one-hot乘表或直接查行得到相同结果。教学行e(书)=(.2,.7)用于随后局部窗口计算;坐标不是教师命名的语义属性,也不是旧模型训练值。一个词在不同样本中共用同一行,更新该行会影响之后所有使用它的样本。

RNN页另给e(我)=(1,0)、e(昨天)=(0,1)以保留已有两步教学算例。完整九步模型没有在这些小行上实际训练。

继续学习

同一句话怎样成为分析对象与模型输入 · LAB01:A · 邻居变多,bank 的表示会怎样变?

历史推导与原实验身份:S04。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。