从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

传统系统也会从语料学习

T06 · 传统系统也会从语料学习

语言分析已经完成当前译文。统计方法进一步从许多句对和单语表达估计对应、顺序与目标语言规律,避免把传统路线写成机械查字典。

状态 b0

双语学习对应与重排;单语学习目标表达,学习不是神经网络独有。

状态 b1

把两种证据连接到搜索候选,同时提出新词和新组合怎样共享经验。

公式与算例详情

双语平行语料可学习词/短语对应和重排,单语语料可学习目标表达的统计规律,搜索在候选中组合选择。课堂图中的句片段只是语料样本的指示,并未附造分数或宣称已训练。

传统系统也能利用上下文,统计方法也在从数据学习。神经方法的后续问题应更具体:变化的词、句型与长度能否通过可学习表示和共享计算积累经验?语言流畅性本身也不保证忠实于源句。

继续学习

同一句话怎样成为分析对象与模型输入 · LAB01:A · 邻居变多,bank 的表示会怎样变?

把预测、训练与评价摊在同一张样本表上 · LAB01:B · 同一预测目标,三个模型;训练一次,生成多次

历史推导与原实验身份:S01 · S03 · S05。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源