R09 · 共享网络，接到下一词概率

R07的零计数提出了一个问题：不同词串能否通过共同参数借用信息，而不各自等待足够多的观察？本页先把窗口到候选分布的可训练计算接通，再由R11说明监督从何而来。

公式与算例详情

本页用局部五候选输出头展示预测接口，$V_{\mathrm{out}}=5$，候选依次为her、him、you、a、EOS。输入embedding表另含I、gave等token；这五项不代表完整语言模型词表。给定embedding宽度 $d=2$、窗口长度 $k=2$，两行向量按顺序拼成4维输入。经 $h=\tanh(Wz+b)$ 得到3维hidden，再由输出投影产生5维logits。采用列向量时，$W\in\mathbb R^{3\times4}$、$U\in\mathbb R^{5\times3}$。内部表示宽度与输出候选数承担不同职责，无须相等。

为单独核对softmax，给定候选分数$(\ln4,\ln2,0,0,\ln2)$；指数为$(4,2,1,1,2)$，总和10，在这五项内归一化得到$(.4,.2,.1,.1,.2)$。这些分数没有宣称由所画窗口运行已训练网络所得，也不要求等于R07的计数频率。真实下一词用于计算$-\log p(\text{正确词})$；生成时还需从分布选择token。

共享参数意味着不同窗口调用同一套E、W、U，不意味着hidden或分布相同。相近输入通过共同计算有机会改善未见词串估计，但本页只展示形状与概率接口，没有提供训练或泛化成绩。窗口长度仍固定；早先线索落到窗口外，就不能直接进入这一层计算。

原课页采用记录：M08 n-gram与固定窗口网络。页码均按PDF物理页计。

继续学习

本页自学核对：画出两token窗口→embedding→h→logits→softmax，并指出下一词标签怎样提供loss；不把可计算概率当成已泛化。

若五候选分布已经会算，却仍不清楚参数怎么学、能力怎么验，可进入《把预测、训练与评价摊在同一张样本表上》；训练闭环接同主题一次训练：分布、loss与梯度。动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：对照窗口与状态模型的合法输入、词表输出、训练目标和测试评价，区分接口算例与模型成绩。 实施范围见实验路线B。 若要增加对照，按已有受控设计固定相关条件；设计本身不代表新训练已完成。