R04.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R04 · 滑动一个窗口，就得到一批训练对

在进入整句预测以前，这条延伸线先回答词向量怎样从原始文本获得训练信号：同一句话能产生哪些中心词—邻词样本？

<span id="r04-b0"></span>

## 状态 b0

gave位于窗口中心，与左右的she、her分别形成一对监督样本。

<span id="r04-b1"></span>

## 状态 b1

中心移到her，新样本为(her,gave)与(her,a)；移动的是训练对，参数表仍共用。

<span id="r04-b2"></span>

## 状态 b2

固定(her,a)这一对，沿gave、she、a的分数读到softmax，定位目标a对应的概率与loss。

## 公式与算例详情

固定半径1的窗口中，中心词gave生成(gave,she)与(gave,her)两对；中心移到her时，得到(her,gave)与(her,a)。Skip-gram用中心词向量$v_c$预测外侧词：$p(o\mid c)=\exp(u_o^\top v_c)/\sum_w\exp(u_w^\top v_c)$。输入和输出词表通常各有一组参数。

教学词表仅有三个候选，分数设为$[0,\ln2,\ln3]$，指数为$[1,2,3]$，概率为$[1/6,1/3,1/2]$。若正确候选是第三个，这项损失为$-\ln(1/2)=0.6931$。真实全词表归一化更大；负采样是另一训练目标，详细推导与共现路线见第一章。

这里学习的是按词类型共享的静态表示；“静态”不表示不能训练，而是同一token在不同出现中仍查同一行。邻词目标允许左右两侧样本，与仅用合法前缀的下一词目标不同。图解借鉴CS224N Word Vectors物理p12–13、p17，句子与三候选数值为本课构造。

原课页采用记录：[M04 窗口怎样形成训练对](sources.html#M04)、[M06 表示怎样学习、怎样评价](sources.html#M06)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R04)：沿同一句生成两个窗口的训练对，注明中心与邻词；整理成训练对表并解释静态词表为何仍共享。

若不清楚一个窗口怎样变成多个训练对，可进入[《从一条混排消息到模型的输入》](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“A · 邻居变多，bank 的表示会怎样变？”：把窗口半径从1改为3，先核新增样本与共现计数，再观察表示。 实施范围见[实验路线A](experiments.html#experiment-A)。