从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

写到这里,还能怎样取得源信息?

T19 · 写到这里,还能怎样取得源信息?

已经能够工作和训练的系统,才有具体可比较的设计改动。当前不是宣判固定摘要必败,而是识别它提供源信息的接口。

状态 b0

源句经c_src初始化s₀,再沿decoder状态传到当前预测。合法前缀BOS I gave保持,下一词未揭示;b0先问可改哪一处。

状态 b1

接住学生指向的状态容量、更新或源位置;保留已经算出的源位置是下一段选择考察的读取改动。

公式与算例详情

本页沿用T15的初始化版本:源句先经固定摘要c_src建立s₀,随后源条件沿decoder状态传到当前预测;不表示每一步直接重新注入c_src。可以合理增加状态宽度、改进更新和训练,也可以保存各源状态,让当前目标步选择读取内容。构造译例不足以证明某条路线总体胜出;原2014论文和任务证据留在translation-choices-2014主题。

本页保留合法前缀BOS I gave,下一词仍为问号,不让him反向成为查询输入。后续attention只改变取得源信息的连接,完整生成和训练框架继续成立。

继续学习

2014:先拥有一个可工作的翻译器,再决定改哪里 · LAB02:D/E · 固定源序,比较两种读取接口

读取之后,系统怎样决定写 him · LAB02:E · 只改 q 或只改 V,分别会改变什么?

历史推导与原实验身份:S13 · S12。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。

原始来源