从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

第二步里,哪一项来自“我”?

T11 · 第二步里,哪一项来自“我”?

递推箭头需要一项可核算的计算来支撑。这里保留已有有效二维教学值,把词标签真正写到输入旁边。

状态 b0

第一步显示h1;第二步线性和仍以表达式呈现,等待指出旧状态项。

状态 b1

0.5h1贡献第一坐标.380797,当前昨天输入贡献第二坐标1。

状态 b2

h2≈(.363399,.761594),与e(昨天)区分。

公式与算例详情

给定e(我)=(1,0)、e(昨天)=(0,1)、h0=(0,0)、W_x=I、W_h=0.5I、b=0。第一步h1=tanh(1,0)≈(.761594,0)。第二步线性和为(0,1)+0.5h1≈(.380797,1),再逐坐标tanh得到h2≈(.363399,.761594)。

这些数值沿用R7.1有效教学算例,输入词身份现在明确可见。它不是训练后的九位置翻译器,也不能把其余七步随意补成一套成功模型。参数跨步共享;h2中第一坐标的非零量来自我经h1传播,第二坐标来自昨天输入。

继续学习

状态在流动,梯度可以停在边界 · LAB01:C · 共享参数的梯度到底加了几次?

历史推导与原实验身份:S07。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。