沿 gave 这一行,再走到 him 与 EOS
T33 · 沿 gave 这一行,再走到 him 与 EOS
完整架构已经展开,现在必须把各接口接回熟悉的翻译任务,才能检查有没有遗漏生成闭环。
状态 b0
目标只到BOS/I/gave,按masked self→cross→FFN及层叠到词表,下一词仍为问号。
状态 b1
词表分布选出him以后,将它接回下一步前缀;答案没有倒流成为本次query的输入。
状态 b2
沿相同循环继续a/book/yesterday/./EOS。句号与EOS是不同目标单位。下方是后续各步回放,上方gave行仅作路径参照。
公式与算例详情
画面选择合适译文来说明计算与反馈路径,不声称当前教学参数真实生成这句话。gave行的query既不包含当前答案him,也不包含未来英语;cross读取完整给定中文是合法的。自回归过程在词表分布中选词,追加选出的词后才形成下一输入。句号是内容单位,EOS负责结束序列。
继续学习
让整套 Transformer 共同完成一次预测 · LAB03:F · 跟着一个 token 穿过完整 encoder block
历史推导与原实验身份:R46 · B01 · R47。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。
原始来源
- https://arxiv.org/pdf/1706.03762v1:。原版本及采用边界见正文