R04 · 滑动一个窗口，就得到一批训练对

在进入整句预测以前，这条延伸线先回答词向量怎样从原始文本获得训练信号：同一句话能产生哪些中心词—邻词样本？

公式与算例详情

固定半径1的窗口中，中心词gave生成(gave,she)与(gave,her)两对；中心移到her时，得到(her,gave)与(her,a)。Skip-gram用中心词向量$v_c$预测外侧词：$p(o\mid c)=\exp(u_o^\top v_c)/\sum_w\exp(u_w^\top v_c)$。输入和输出词表通常各有一组参数。

教学词表仅有三个候选，分数设为$[0,\ln2,\ln3]$，指数为$[1,2,3]$，概率为$[1/6,1/3,1/2]$。若正确候选是第三个，这项损失为$-\ln(1/2)=0.6931$。真实全词表归一化更大；负采样是另一训练目标，详细推导与共现路线见第一章。

这里学习的是按词类型共享的静态表示；“静态”不表示不能训练，而是同一token在不同出现中仍查同一行。邻词目标允许左右两侧样本，与仅用合法前缀的下一词目标不同。图解借鉴CS224N Word Vectors物理p12–13、p17，句子与三候选数值为本课构造。

原课页采用记录：M04 窗口怎样形成训练对、M06 表示怎样学习、怎样评价。页码均按PDF物理页计。

继续学习

本页自学核对：沿同一句生成两个窗口的训练对，注明中心与邻词；整理成训练对表并解释静态词表为何仍共享。

若不清楚一个窗口怎样变成多个训练对，可进入《从一条混排消息到模型的输入》；动手时打开LAB01的“A · 邻居变多，bank 的表示会怎样变？”：把窗口半径从1改为3，先核新增样本与共现计数，再观察表示。 实施范围见实验路线A。