Lecture 05 · 表示是否有用,要回到任务上检查

R05 · 表示是否有用,要回到任务上检查

能够从邻词目标学到一张向量表,还不足以知道它对另一项任务有没有用。本页把“怎样学”与“怎样检验”分开,再回到后续语言预测目标。

状态 b0

左栏列训练约束,右栏列评价用途。先区分“向量如何得到”与“它在什么任务上有帮助”。

学习路线究竟检验什么word2vec:预测邻词相似词:局部几何共现 + SVD:分解统计结构类比:特定关系GloVe:拟合加权log共现下游任务:独立数据上的表现

状态 b1

Paris的两个窗口需要不同标签。沿E→窗口组合→分类器看,标签是待预测目标;实际表现还需独立数据检验。

学习路线究竟检验什么word2vec:预测邻词相似词:局部几何共现 + SVD:分解统计结构类比:特定关系GloVe:拟合加权log共现下游任务:独立数据上的表现Paris hosts a meeting. 标签 Paris → 地点Paris Hilton arrived. 标签 Paris → 人名

公式与算例详情

预测式方法通过邻词目标学习参数;计数式方法从词与上下文的共现结构出发做降维;GloVe对加权对数共现拟合向量点积。它们共享分布信息的思想,但不是同一个目标的三个名字。第一章给出负采样、SVD与GloVe的公式及可复现小例。

评价也要分开:相似词检索看局部几何,类比检验特定关系,NER等下游任务检验实际预测价值。一个图上分得开的词群不能替代保持数据划分后的任务指标。窗口大小会改变捕获的关系;多义词单向量把多种语境混在一起,是下一步上下文化建模的动机。

Paris两种标签是监督目标,不是已测模型成绩。下游比较需要经过E→窗口组合→分类器,并在独立数据上测量;这与只观察向量几何是不同证据。

原课页采用记录:M06 表示怎样学习、怎样评价。页码均按PDF物理页计。

继续学习

本页自学核对:把两句 Paris 的标签与模型预测分开,画出 E→窗口→分类器;整理成一条可独立评价的路径。

若想知道邻词或类比结果能支持什么用途判断,可进入《从一条混排消息到模型的输入》;动手时打开LAB01的“A · 邻居变多,bank 的表示会怎样变?”:对照训练目标、相似关系和下游任务,保留低频与零行,而不只挑漂亮近邻。 实施范围见实验路线A。