S05 · 未见过的组合，怎样得到合理分数？
把目标语言评分放大到一个很小的统计问题，可以看清组合稀疏带来的困难。
状态 b0
同一个I gave前缀之后，her出现3次、him1次、you0次；零观测不意味着不可能。
公式与算例详情
教学语料在前缀“I gave”后观察到her三次、him一次、you零次，直接频率为3/4、1/4、0/4。这个trigram仅使用最近两个历史token；零计数不是逻辑不可能。平滑、回退与更广的统计建模是有效基线。
组合增长很快，逐个存储完整短语的经验未必足够。神经窗口模型以共享embedding和预测参数处理不同词串，但能否改善留出组合需要训练与评测，不从架构名称直接推出。