S04.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# S04 · 词表行共享，窗口计算共享

不同词串要共享经验，先需要可共同调整的表示，再需要把局部词向量组合起来的预测规则。

<span id="s04-b0"></span>

## 状态 b0

书的索引5对应one-hot地址与E[5]；同一token查同一行，索引不表示语义大小。

<span id="s04-b1"></span>

## 状态 b1

I与gave查表后拼接，经共享前馈网络形成词表分布；查embedding与计算上下文是两步。

## 公式与算例详情

词表索引是地址。课堂以“书”对应索引5与one-hot $(0,0,0,0,0,1)$；embedding查表取出参数矩阵$E$的一行$E[5]$。同一个token在不同位置或不同样本中复用这行参数。它还没有读取当前语境。

神经窗口模型把有限窗口中的embedding拼接或组合，经共享前馈网络形成内部表示与词表logits，再作softmax。参数共享使不同词串的梯度能共同改变表示和预测函数；具体泛化收益由数据与任务评价决定。

模型的输入单位可能是字、词或子词；给书句的六个教学片段不是真实WordPiece切分。完整bank两语境将在self-attention段回访，那时学生已掌握按位置读取的机制。

### 继续学习

[从一条混排消息到模型的输入](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html) · [LAB01：A · 邻居变多，bank 的表示会怎样变？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导：[R02](course/R02.html) · [R03](course/R03.html) · [R04](course/R04.html) · [R05](course/R05.html)。