每个位置给监督,整句仍要自己生成
T18 · 每个位置给监督,整句仍要自己生成
一个输出头的loss是局部监督。多个目标位置共同更新共享参数,使用时还要检查系统在自己的历史上能否完整生成。
状态 b0
包括EOS的八个位置都提供目标,梯度汇到输出头、decoder、encoder和embedding。
状态 b1
正确前缀与自选前缀分开;greedy/beam仅说明选择方式,检查需从BOS走到EOS。
公式与算例详情
每个目标位置,包括结束标记,都可产生负对数损失;这些项的梯度通过各自计算路径汇到共享参数。共享θ不意味着各位置h或decoder状态相同。
teacher forcing使用正确过去,生成接回自身选词。greedy选择当前最大概率,beam search保留有限候选前缀并继续比较;完整搜索树和旧反转任务的实际失败样本留在历史阅读与Notebook,默认课堂不切换任务。整句生成质量不能由某个词loss独立宣布。