词的地址怎样变成可学习的一行数?
T07 · 词的地址怎样变成可学习的一行数?
统计系统已经会学习。这里改进的是词如何进入可共享计算:从地址到身份向量,再到可学习参数行。
状态 b0
ID用于查找,不编码语义远近。
状态 b1
书对应第8个位置的一位为1;不同词one-hot点积为0。
状态 b2
one-hot的唯一非零位置选出E[8],得到可学习的embedding。
状态 b3
另一处书指向同一E行,跨样本共享而非每次重新创建。
公式与算例详情
此处教学词表仅列九单位并用ID1至9标示,书为8。ID是地址,数值大小不表达含义远近。one-hot书=(0,0,0,0,0,0,0,1,0);不同单位身份向量的点积为0。
embedding表E为每个词分配可学习向量,one-hot乘表或直接查行得到相同结果。教学行e(书)=(.2,.7)用于随后局部窗口计算;坐标不是教师命名的语义属性,也不是旧模型训练值。一个词在不同样本中共用同一行,更新该行会影响之后所有使用它的样本。
RNN页另给e(我)=(1,0)、e(昨天)=(0,1)以保留已有两步教学算例。完整九步模型没有在这些小行上实际训练。
继续学习
历史推导与原实验身份:S04。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。