S03.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取,也可选取下方原文复制。此入口返回 HTML;原始 .md / .py 文件仍保留,完整候选包同时包含 UTF-8 原件。

# S03 · 词典、短语、重排与搜索

一条准确的局部规则仍需要与其他对应组合。短语统计翻译把对应、顺序、目标语言规律与搜索组合在一个可运行系统中。

<span id="s03-b0"></span>

## 状态 b0

我→I、昨天→yesterday、给了她→gave her、一本书→a book;短语系统并非逐词替换。

<span id="s03-b1"></span>

## 状态 b1

两个候选用同一组片段,差别在yesterday的位置。比较源对应与目标表达。

<span id="s03-b2"></span>

## 状态 b2

翻译对应、重排与目标语言模型共同评分,搜索组合片段并形成含EOS的完整候选。

## 公式与算例详情

本例保留四组短语对应:“我→I”“昨天→yesterday”“给了她→gave her”“一本书→a book”。候选为“I yesterday gave her a book”和“I gave her a book yesterday”;它们用于讨论词序与语言习惯,没有附造模型分数或声称真实系统已作此排名。

短语翻译模型提供双语对应证据,重排模型评价片段位置关系,目标语言模型评价目标串的统计规律。搜索在有限预算内组合短语与顺序。规则系统也可以利用上下文;SMT通过语料估计参数,也是在学习。单独的语言模型只评价目标表达,不能独自确保忠实于源句。

这里的六源片段和四短语单元承担不同职责:前者是课堂输入划分,后者是可被组合的翻译单元。两种划分不必一一相同。

### 继续学习

[从一条混排消息到模型的输入](https://codingai-lec05.pages.dev/course/knowledge/text-units-and-representations.html) · [LAB01:A · 邻居变多,bank 的表示会怎样变?](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[把预测、训练与评价摊在同一张样本表上](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html) · [LAB01:B · 同一预测目标,三个模型;训练一次,生成多次](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

[路径 A:分数进步了,为什么这一句仍然错](https://codingai-lec05.pages.dev/course/knowledge/teacher-forcing-and-generation.html) · [LAB02:路径A · 分数进步了,为什么这一句仍然错](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)

保留的完整推导:[R01](course/R01.html) · [R06](course/R06.html) · [R07](course/R07.html) · [R08](course/R08.html) · [R59](course/R59.html)。

### 原始来源

- [https://research.google/blog/statistical-machine-translation-live/](https://research.google/blog/statistical-machine-translation-live/):本页说明所列原版本。本页原始出处与适用条件见正文