R08.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R08 · 没有出现过，不等于不可能发生

R07的未见候选得到零概率。这条延伸先保留计数基线，检查能否通过平滑给未见事件留出概率，以及要付出什么代价。

<span id="r08-b0"></span>

## 状态 b0

you的零概率进入整句乘积后，会使含该项的测试序列概率为零。

<span id="r08-b1"></span>

## 状态 b1

所有候选同时加一后，分母从4变7。比较her让出的概率与you得到的概率，再核对三项仍和为一。

## 公式与算例详情

若当前前缀下还有一个未见候选you，最大似然给它0。一旦测试句包含此项，负对数损失为无穷大。对大小为3的教学词表做加一平滑，$p(w\mid h)=(C(h,w)+1)/(C(h)+3)$，于是概率变为$4/7,2/7,1/7$，总和仍为1。

平滑重新分配概率质量，会降低已见候选的概率；它没有凭空识别相似语义，也没有延长窗口。现实n-gram常用回退或插值等更好的平滑方法，add-one只用来把问题与取舍看清。第一章的分布表示让相似上下文之间还能通过参数共享信息。

原课页采用记录：[M08 n-gram与固定窗口网络](sources.html#M08)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R08)：固定数据，只改平滑或回退策略；整理成未见前缀的两种预测及取舍。

若想分清平滑改善与训练模型改善，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：核对计数模型和神经模型的同口径测试NLL，确认未见项处理与输出词表相符。 实施范围见[实验路线B](experiments.html#experiment-B)。