R09.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R09 · 共享网络，接到下一词概率

R07的零计数提出了一个问题：不同词串能否通过共同参数借用信息，而不各自等待足够多的观察？本页先把窗口到候选分布的可训练计算接通，再由R11说明监督从何而来。

<span id="r09-b0"></span>

## 状态 b0

沿I与gave两条查表线到拼接输入，再进入共享hidden。不同窗口调用同一套参数；此时还没有选出下一词。

<span id="r09-b1"></span>

## 状态 b1

下方新增逐候选的logit与概率。先对应同一列，再沿五个输出候选检查归一化：hidden坐标用于内部表示，输出坐标逐一对应候选；形成分布以后，训练和选词仍是不同动作。

## 公式与算例详情

本页用局部五候选输出头展示预测接口，$V_{\mathrm{out}}=5$，候选依次为her、him、you、a、EOS。输入embedding表另含I、gave等token；这五项不代表完整语言模型词表。给定embedding宽度 $d=2$、窗口长度 $k=2$，两行向量按顺序拼成4维输入。经 $h=\tanh(Wz+b)$ 得到3维hidden，再由输出投影产生5维logits。采用列向量时，$W\in\mathbb R^{3\times4}$、$U\in\mathbb R^{5\times3}$。内部表示宽度与输出候选数承担不同职责，无须相等。

为单独核对softmax，给定候选分数$(\ln4,\ln2,0,0,\ln2)$；指数为$(4,2,1,1,2)$，总和10，在这五项内归一化得到$(.4,.2,.1,.1,.2)$。这些分数没有宣称由所画窗口运行已训练网络所得，也不要求等于R07的计数频率。真实下一词用于计算$-\log p(\text{正确词})$；生成时还需从分布选择token。

共享参数意味着不同窗口调用同一套E、W、U，不意味着hidden或分布相同。相近输入通过共同计算有机会改善未见词串估计，但本页只展示形状与概率接口，没有提供训练或泛化成绩。窗口长度仍固定；早先线索落到窗口外，就不能直接进入这一层计算。

原课页采用记录：[M08 n-gram与固定窗口网络](sources.html#M08)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R09)：画出两token窗口→embedding→h→logits→softmax，并指出下一词标签怎样提供loss；不把可计算概率当成已泛化。

若五候选分布已经会算，却仍不清楚参数怎么学、能力怎么验，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html#objectives-and-evaluation-s02)；训练闭环接同主题[一次训练：分布、loss与梯度](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html#objectives-and-evaluation-s04)。动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：对照窗口与状态模型的合法输入、词表输出、训练目标和测试评价，区分接口算例与模型成绩。 实施范围见[实验路线B](experiments.html#experiment-B)。 若要增加对照，按[已有受控设计](experiments.html#r5-controlled)固定相关条件；设计本身不代表新训练已完成。