从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

先保留什么,再向当前计算输出什么?

T13 · 先保留什么,再向当前计算输出什么?

长链训练提出怎样保留和改写的选择。LSTM把cell路径与供当前使用的hidden状态区分,门控制保留、写入及输出。

状态 b0

c沿时间承载可保留内容,h向当前计算提供表示,首次定义先于算术。

状态 b1

旧cell1、保留门.9、候选.5、写入门.1,结果先留问号。

状态 b2

两路贡献.9与.05相加得到.95。

状态 b3

给定输出门.8,hidden=.8tanh(.95)≈.591826,不将c和h说成同值。

公式与算例详情

LSTM的cell c沿时间承载可保留内容,hidden h提供当前可用表示。给定一个坐标的旧cell=1、保留门f=.9、候选内容g=.5、写入门i=.1,得到c=.9×1+.1×.5=.95;输出门o=.8时,h=.8tanh(.95)≈.591826。门值在课堂先给定,真实门由可学习计算产生。

原二维门值算例和直接路径.99²⁰≈.818、.8²⁰≈.011529的限定推导继续在recurrent-state-and-credit与历史S10完整保留:它们只说明特定给定系数路径,不保证总梯度或无限记忆。本轮默认只算一个cell合成值和相应hidden,不修改旧结果。

源句全部给定时也可从两个方向编码;目标生成的未来词尚未知,不能按同一理由让decoder读取未来答案。

继续学习

状态在流动,梯度可以停在边界 · LAB01:C · 共享参数的梯度到底加了几次?

历史推导与原实验身份:S10。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。