从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

回到固定摘要时点,你会先改哪一处

T53 · 回到固定摘要时点,你会先改哪一处

回到尚未采用动态读取、但翻译器已经能工作的时点。源句先通过固定入口初始化 decoder,随后沿状态传递;研究选择要指出改动位置、预期改善及改判所需的结果。

状态 b0

源摘要用于初始化,随后沿 decoder 状态传递。回到还没有动态读取的时点,先指出想改的位置及预期改善,再用任务结果决定是否继续。

状态 b1

选择读取到词预测的主题,或进入11分钟资源展开;再沿主题回到原Notebook同一处计算。

公式与算例详情

图中源摘要 c_src 只用于初始化 s₀,后续通过状态递推影响生成;已生成的合法前缀用于定位当前步骤,本步新输入 gave 与上一状态共同形成当前状态。扩大状态、保留源位置以供重新读取、改善数据或训练,都是可以根据当前证据提出的候选。评价它们时,应比较同一任务条件下关心的错误、质量与可接受资源;如果预期改善未出现,就要重新检查原先对限制的判断。

读取怎样成为下一词概率 对应原 LAB02 的两次 softmax 和输出接口;资源账本 与 T60–T65 的分块累计对应原 LAB03。主题与原 Notebook 的实际链接见下面“继续学习”。独立资源展开另计 11 分钟,不并入默认 114 分钟内容预算。

继续学习

读取之后,系统怎样决定写 him · LAB02:E · 只改 q 或只改 V,分别会改变什么?

给长前缀列一张有单位的资源账本 · LAB03:G · 旧 K/V 哪些可以沿用,哪些必须作废?

历史推导与原实验身份:R59。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。