R02 · 文字先查表，参数才有计算对象

前缀和待预测词已经分开，但文字还不能直接进入矩阵运算。本页先解决输入如何成为向量，随后再问这种初始表示是否足以区别语境。

公式与算例详情

本页索引从0起，“书”为5，选择参数表第6行E[5]=(0.4,−0.2,0.7)。这些数值是构造输入；编号只是地址，E是参数，查得向量是本次计算结果。

本例将中文按六个语义片段切分，实际模型可以用字、词或子词。token不是天然等于一个汉字或一个完整词；词表、切分规则、特殊符号必须和模型一致。

若词表大小为V，embedding宽度为d，参数矩阵为$E\in\mathbb{R}^{V\times d}$。token索引i选择$E_i$；写成one-hot行向量就是$x_i^\top E=E_i$。one-hot本身把不同词放在正交方向上，没有语义相近的结构。embedding通过训练目标得到有用途的几何关系，不能仅凭坐标数字宣称已经获得某种含义。

原课页采用记录：M03 one-hot到可学习表示。页码均按PDF物理页计。

继续学习

本页自学核对：复算 one-hot 乘 E 的选行，并为另一 token 重做；整理成两行查表结果。

若不确定token、编号与向量各是什么，可进入《从一条混排消息到模型的输入》；动手时打开LAB01的“A · 邻居变多，bank 的表示会怎样变？”：核对混排消息的切分、冻结规则与查表步骤，不把编号大小当语义距离。 实施范围见实验路线A。