R07.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R07 · 零次观察，等于不可能吗？

整句概率已经拆成逐位置预测。先用最容易核对的计数办法估计I gave之后的分布，再看有限观察留下了什么缺口。

<span id="r07-b0"></span>

## 状态 b0

四条语料与计数表并列，频率暂留问号。先核对her三次、him一次及未见的I gave you。

<span id="r07-b1"></span>

## 状态 b1

频率列揭示3/4、1/4、0/4。零反映这四次观察；比较平滑、回退或共享计算如何处理未见项。

trigram的“三”包含两个条件token与一个目标token；本页不是用三个历史词作条件。

## 公式与算例详情

在一份教学构造语料中，前缀I gave后出现her三次、him一次，you零次；表中仅列三个候选。trigram最大似然估计为$p(her\mid I,gave)=3/4$，$p(him\mid I,gave)=1/4$。一般n-gram用最近$n-1$个token代替整个前缀。

它把长历史截成一个有限窗口，计算简单、可解释，但相似上下文没有自动共享统计。增加n看似保留更多信息，也增加可能的词串组合数，使稀疏问题变重。这里的计数来自展示的四条样本，不是大型语料性能。

未出现不等于语言上不可能。平滑或回退可给未见事件分配质量；共享参数则提供另一种跨相似输入借力的途径，实际泛化仍需训练与评价。

原课页采用记录：[M08 n-gram与固定窗口网络](sources.html#M08)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R07)：圈出you=0的未观察组合；解释零计数不等于不可能，给平滑／回退与共享参数各一项预期。

若想检验共享网络是否真比计数更能处理未见组合，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：在同一划分与预测目标下比较计数、窗口与状态模型，核对未见组合、参数量和训练预算。 实施范围见[实验路线B](experiments.html#experiment-B)。 若要增加对照，按[已有受控设计](experiments.html#r5-controlled)固定相关条件；设计本身不代表新训练已完成。