S03 · 词典、短语、重排与搜索
一条准确的局部规则仍需要与其他对应组合。短语统计翻译把对应、顺序、目标语言规律与搜索组合在一个可运行系统中。
状态 b0
我→I、昨天→yesterday、给了她→gave her、一本书→a book；短语系统并非逐词替换。
状态 b1
两个候选用同一组片段，差别在yesterday的位置。比较源对应与目标表达。
状态 b2
翻译对应、重排与目标语言模型共同评分，搜索组合片段并形成含EOS的完整候选。
公式与算例详情
本例保留四组短语对应：“我→I”“昨天→yesterday”“给了她→gave her”“一本书→a book”。候选为“I yesterday gave her a book”和“I gave her a book yesterday”；它们用于讨论词序与语言习惯，没有附造模型分数或声称真实系统已作此排名。
短语翻译模型提供双语对应证据，重排模型评价片段位置关系，目标语言模型评价目标串的统计规律。搜索在有限预算内组合短语与顺序。规则系统也可以利用上下文；SMT通过语料估计参数，也是在学习。单独的语言模型只评价目标表达，不能独自确保忠实于源句。
这里的六源片段和四短语单元承担不同职责：前者是课堂输入划分，后者是可被组合的翻译单元。两种划分不必一一相同。
继续学习
原始来源
- https://research.google/blog/statistical-machine-translation-live/：本页说明所列原版本。本页原始出处与适用条件见正文