一个邻词，怎样成为表示的学习信号？
T08 · 一个邻词，怎样成为表示的学习信号？
向量不是无来源的彩色方块。中心词预测邻词提供一种明确目标，令参数能从许多样本中获得共同用途。
状态 b0
当前句中以书为中心，邻近本是本次观察到的邻词。
状态 b1
E中心[书]=(.2,.7)，E邻词的候选向量分别产生.7/.2/−.7分数，职责区分。
状态 b2
先对各分数取exp，再除以全部候选exp之和；三候选概率约.540/.327/.133。真实邻词本只在监督端，鼓励它的概率增加。
状态 b3
回传到中心与上下文两张表，单句仅演示一个样本。
公式与算例详情
这里是独立R72局部教学算例：中心书的向量u=(.2,.7)；上下文候选本、他、昨天的向量分别为(0,1)、(1,0)、(0,−1)。点积得到(.7,.2,−.7)。softmax先对每个分数取exp（e的该分数次方），再除以所有候选exp的总和，使这些正数归一化为总和为1的概率；三候选概率约为(.539628,.327301,.133071)，图上取三位小数，因舍入总和可不正好为1。真实邻词为本。
中心与上下文属于两张参数表，不能因为都叫词向量就当成同一个参数。完整skip-gram目标会在许多窗口与词表上学习，本页三候选只用来解释一项训练信号；没有声称当前一句就能训练完整词义。
采用负对数邻词概率等目标，梯度可更新本次中心行和参与计算的上下文行。真实训练可以用完整softmax或近似目标，细节在text-units-and-representations完整主题及原Notebook。Word2vec不是翻译模型必须先执行的一次前置训练。