从词向量重新形成每个源位置的表示
T25 · 从词向量重新形成每个源位置的表示
动态读取已经改了目标取得源信息的方式。现在改变源内部形成表示的计算，从词表查出的embedding重新出发。
状态 b0
输入是原九个词 embedding，暂不加位置；旧RNN状态仅作计算路径对照，不进入新编码器。
状态 b1
给的位置发Q，同句位置提供K/V，输出仍属于给。连线表示全可见访问，不是测得权重。
状态 b2
换他作为query也形成他的一行。self表示输入来源相同，不表示Q/K/V投影相同或只看自身。
公式与算例详情
当前词卡排在屏幕位置只是方便指认，没有偷偷把位置输入数值化。全可见self-attention先在词向量上说明读取；位置在T28完成无位置换序观察后显式加入。RNN编码得到的旧H没有成为新Transformer的输入。Q与K/V来自同一组层输入，而采用的可学习投影可以不同。
继续学习
让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block
原始来源
- https://arxiv.org/pdf/1706.03762v1：。原版本及采用边界见正文