从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

更新参数,与补充这一次输入

T43 · 更新参数,与补充这一次输入

微调改变参数,in-context示例通常改变当前输入而不更新参数。二者不因都能影响输出就成为同一操作。

状态 b0

任务训练由样本、预测和loss产生梯度,优化器更新θ。

状态 b1

提示内示例、指令和中文改变当前输入,通常不发生参数更新。

状态 b2

架构、参数训练经历、当前输入条件相互关联,但不能把一次提示使用说成重新训练。

公式与算例详情

当前前缀只含给书事件与时间,没有指定颜色。参数中的常见知识不能替代这一本书的实例证据。

继续学习

把预测、训练与评价摊在同一张样本表上 · LAB01:B · 同一预测目标,三个模型;训练一次,生成多次

同一段文本,三种预训练问题 · LAB03:F · 跟着一个 token 穿过完整 encoder block

历史推导与原实验身份:R52。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。