前缀变了，读取也可以改变
T21 · 前缀变了，读取也可以改变
生成继续以后，条件中的源句不变，当前目标前缀却变了。把同一读取机制放在第二个时刻，才能看清为什么要动态决定权重。
状态 b0
前缀已是 BOS I gave him a book，下一词仍未知。新的目标状态重新读取保留的源位置；连线表示读取范围，不是测得的理想对齐。
状态 b1
读取可以汇总多个源位置。c 仍为向量，经后续目标计算才形成词表分布；中文单位与英文词不必一一对应。
公式与算例详情
本图没有用一条人工指定到“昨天”的金线冒充已训练注意力。所有源位置依然可见；当前状态改变，打分和加权内容因此允许改变。读取的输出属于连续表示，词表概率则以英文候选为轴。“一本书”对应 a book 已说明两侧不要求逐词一一对应。
继续学习
历史推导与原实验身份：R30 · R31 · R37 · R28。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。
原始来源
- https://arxiv.org/pdf/1409.0473v1：。原版本及采用边界见正文