R05 · 表示是否有用,要回到任务上检查
能够从邻词目标学到一张向量表,还不足以知道它对另一项任务有没有用。本页把“怎样学”与“怎样检验”分开,再回到后续语言预测目标。
状态 b0
左栏列训练约束,右栏列评价用途。先区分“向量如何得到”与“它在什么任务上有帮助”。
状态 b1
Paris的两个窗口需要不同标签。沿E→窗口组合→分类器看,标签是待预测目标;实际表现还需独立数据检验。
公式与算例详情
预测式方法通过邻词目标学习参数;计数式方法从词与上下文的共现结构出发做降维;GloVe对加权对数共现拟合向量点积。它们共享分布信息的思想,但不是同一个目标的三个名字。第一章给出负采样、SVD与GloVe的公式及可复现小例。
评价也要分开:相似词检索看局部几何,类比检验特定关系,NER等下游任务检验实际预测价值。一个图上分得开的词群不能替代保持数据划分后的任务指标。窗口大小会改变捕获的关系;多义词单向量把多种语境混在一起,是下一步上下文化建模的动机。
Paris两种标签是监督目标,不是已测模型成绩。下游比较需要经过E→窗口组合→分类器,并在独立数据上测量;这与只观察向量几何是不同证据。
原课页采用记录:M06 表示怎样学习、怎样评价。页码均按PDF物理页计。
继续学习
本页自学核对:把两句 Paris 的标签与模型预测分开,画出 E→窗口→分类器;整理成一条可独立评价的路径。
若想知道邻词或类比结果能支持什么用途判断,可进入《从一条混排消息到模型的输入》;动手时打开LAB01的“A · 邻居变多,bank 的表示会怎样变?”:对照训练目标、相似关系和下游任务,保留低频与零行,而不只挑漂亮近邻。 实施范围见实验路线A。