R07 · 零次观察，等于不可能吗？

整句概率已经拆成逐位置预测。先用最容易核对的计数办法估计I gave之后的分布，再看有限观察留下了什么缺口。

公式与算例详情

在一份教学构造语料中，前缀I gave后出现her三次、him一次，you零次；表中仅列三个候选。trigram最大似然估计为$p(her\mid I,gave)=3/4$，$p(him\mid I,gave)=1/4$。一般n-gram用最近$n-1$个token代替整个前缀。

它把长历史截成一个有限窗口，计算简单、可解释，但相似上下文没有自动共享统计。增加n看似保留更多信息，也增加可能的词串组合数，使稀疏问题变重。这里的计数来自展示的四条样本，不是大型语料性能。

未出现不等于语言上不可能。平滑或回退可给未见事件分配质量；共享参数则提供另一种跨相似输入借力的途径，实际泛化仍需训练与评价。

原课页采用记录：M08 n-gram与固定窗口网络。页码均按PDF物理页计。

继续学习

本页自学核对：圈出you=0的未观察组合；解释零计数不等于不可能，给平滑／回退与共享参数各一项预期。

若想检验共享网络是否真比计数更能处理未见组合，可进入《把预测、训练与评价摊在同一张样本表上》；动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：在同一划分与预测目标下比较计数、窗口与状态模型，核对未见组合、参数量和训练预算。 实施范围见实验路线B。 若要增加对照，按已有受控设计固定相关条件；设计本身不代表新训练已完成。