S05.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# S05 · 未见过的组合，怎样得到合理分数？

把目标语言评分放大到一个很小的统计问题，可以看清组合稀疏带来的困难。

<span id="s05-b0"></span>

## 状态 b0

同一个I gave前缀之后，her出现3次、him1次、you0次；零观测不意味着不可能。

## 公式与算例详情

教学语料在前缀“I gave”后观察到her三次、him一次、you零次，直接频率为3/4、1/4、0/4。这个trigram仅使用最近两个历史token；零计数不是逻辑不可能。平滑、回退与更广的统计建模是有效基线。

组合增长很快，逐个存储完整短语的经验未必足够。神经窗口模型以共享embedding和预测参数处理不同词串，但能否改善留出组合需要训练与评测，不从架构名称直接推出。

### 继续学习

[从一条混排消息到模型的输入](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html) · [LAB01：A · 邻居变多，bank 的表示会怎样变？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[把预测、训练与评价摊在同一张样本表上](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html) · [LAB01：B · 同一预测目标，三个模型；训练一次，生成多次](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[状态在流动，梯度可以停在边界](https://codingai-lec05.pages.dev/course/knowledge/recurrent-state-and-credit.html) · [LAB01：C · 共享参数的梯度到底加了几次？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导：[R06](course/R06.html) · [R07](course/R07.html) · [R08](course/R08.html) · [R09](course/R09.html) · [R10](course/R10.html) · [R11](course/R11.html) · [R12](course/R12.html) · [R13](course/R13.html)。