从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

先扩展任务,再把颜色写进英文

T45 · 先扩展任务,再把颜色写进英文

图片增加了可用事实,但输出该不该加入颜色,还取决于任务要求。这一页明确把忠实翻译扩展为结合图文描述给书事件。

状态 b0

指令要求结合中文与图像描述这次给书,并补充封面颜色;另给定送书者是说话者,接书者对应他。

状态 b1

I gave him a blue book yesterday.是扩展任务的参考表达,不是原中文忠实翻译时凭空加词。

公式与算例详情

新指令要求描述同一次给书并补充封面颜色;同时给定画中送书者是说话者,接书者对应“他”。因此 I gave him a blue book yesterday. 的事件和时间来自中文,blue 来自可见封面,第一人称指代来自任务给定。

若任务仍只是忠实翻译原句,不能把图片中观察到的任意细节自行加入译文。新增事实、允许使用它的指令与人物指代约定各有作用。

继续学习

路径 B:换图后分布变了,模型是否看懂了 · LAB03:路径B · 换图后分布变了,模型是否看懂了

历史推导与原实验身份:R23 · R50 · R51 · R58。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。