Lecture 05 · 没有出现过,不等于不可能发生

R08 · 没有出现过,不等于不可能发生

R07的未见候选得到零概率。这条延伸先保留计数基线,检查能否通过平滑给未见事件留出概率,以及要付出什么代价。

状态 b0

you的零概率进入整句乘积后,会使含该项的测试序列概率为零。

候选计数最大似然加一平滑her33/4—him11/4—you00—零概率 → 测试句 loss = ∞

状态 b1

所有候选同时加一后,分母从4变7。比较her让出的概率与you得到的概率,再核对三项仍和为一。

候选计数最大似然加一平滑her33/44/7him11/42/7you001/7给未见候选留概率,也改变了已见候选的概率。

公式与算例详情

若当前前缀下还有一个未见候选you,最大似然给它0。一旦测试句包含此项,负对数损失为无穷大。对大小为3的教学词表做加一平滑,$p(w\mid h)=(C(h,w)+1)/(C(h)+3)$,于是概率变为$4/7,2/7,1/7$,总和仍为1。

平滑重新分配概率质量,会降低已见候选的概率;它没有凭空识别相似语义,也没有延长窗口。现实n-gram常用回退或插值等更好的平滑方法,add-one只用来把问题与取舍看清。第一章的分布表示让相似上下文之间还能通过参数共享信息。

原课页采用记录:M08 n-gram与固定窗口网络。页码均按PDF物理页计。

继续学习

本页自学核对:固定数据,只改平滑或回退策略;整理成未见前缀的两种预测及取舍。

若想分清平滑改善与训练模型改善,可进入《把预测、训练与评价摊在同一张样本表上》;动手时打开LAB01的“B · 同一预测目标,三个模型;训练一次,生成多次”:核对计数模型和神经模型的同口径测试NLL,确认未见项处理与输出词表相符。 实施范围见实验路线B。