R02.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R02 · 文字先查表，参数才有计算对象

前缀和待预测词已经分开，但文字还不能直接进入矩阵运算。本页先解决输入如何成为向量，随后再问这种初始表示是否足以区别语境。

<span id="r02-b0"></span>

## 状态 b0

“书”对应索引5，one-hot只有该位置为1。先把它读成选行地址，不把编号当作语义距离。

<span id="r02-b1"></span>

## 状态 b1

E[5]这一行被选出，得到三维向量。对照参数表与本次查表结果：训练可以修改E，而一次查表只取当前这一行。

## 公式与算例详情

本页索引从0起，“书”为5，选择参数表第6行E[5]=(0.4,−0.2,0.7)。这些数值是构造输入；编号只是地址，E是参数，查得向量是本次计算结果。

本例将中文按六个语义片段切分，实际模型可以用字、词或子词。token不是天然等于一个汉字或一个完整词；词表、切分规则、特殊符号必须和模型一致。

若词表大小为V，embedding宽度为d，参数矩阵为$E\in\mathbb{R}^{V\times d}$。token索引i选择$E_i$；写成one-hot行向量就是$x_i^\top E=E_i$。one-hot本身把不同词放在正交方向上，没有语义相近的结构。embedding通过训练目标得到有用途的几何关系，不能仅凭坐标数字宣称已经获得某种含义。

原课页采用记录：[M03 one-hot到可学习表示](sources.html#M03)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R02)：复算 one-hot 乘 E 的选行，并为另一 token 重做；整理成两行查表结果。

若不确定token、编号与向量各是什么，可进入[《从一条混排消息到模型的输入》](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“A · 邻居变多，bank 的表示会怎样变？”：核对混排消息的切分、冻结规则与查表步骤，不把编号大小当语义距离。 实施范围见[实验路线A](experiments.html#experiment-A)。