Lecture 05 · 一句现成文本,怎样同时给出输入和答案?

R11 · 一句现成文本,怎样同时给出输入和答案?

网络能给出下一词分布以后,还需要训练答案。一条现成文本能否在许多位置同时提供合法输入与监督,而无需另作逐词标注?

状态 b0

输入与目标相差一格;例如输入gave的列要预测her。这里仅展开完整句子的前五个位置。

输入BOSIgavehera监督目标Igaveherabook

状态 b1

每列从自己的分布取出正确目标概率,负对数后汇入总loss。先看一列,再看总和。

输入BOSIgavehera监督目标Igaveherabook下一项下一项下一项下一项下一项L̄ = −(1/N) Σₜ log p(正确下一项 | 合法前缀)

状态 b2

新增提醒明确标签只用于批改,不可进入同一次预测的前向输入;下一页撤去真实后续词后,就必须用自己的选择继续。

输入BOSIgavehera监督目标Igaveherabook下一项下一项下一项下一项下一项L̄ = −(1/N) Σₜ log p(正确下一项 | 合法前缀)答案用于损失;不能直接进入同一位置的预测。

公式与算例详情

将目标右移后作为输入,是自回归监督的基本组织方式:输入BOS、I、gave、her、a,对应目标I、gave、her、a、book。模型用合法前缀预测下一项,再把正确答案用于损失,而非直接送给同一预测节点。

图中只展开完整句子的前五个预测位置,后续仍需预测句号与EOS。一批序列通常有不同长度,需要padding;求平均时只计有效目标token。训练用真实前缀常称teacher forcing,生成时则接回模型选出的词,两者前缀分布可能不同。当前是目标组织,RNN沿时间串行、Transformer训练可并行的差别随后由架构解释。

原课页采用记录:M10 RNN怎样训练、M11 训练与生成如何不同、M25 mask 与预测目标。页码均按PDF物理页计。

继续学习

本页自学核对:将一句话右移为输入/目标并补 EOS;整理成逐位置 loss 与总目标的对应表。

若仍混淆真实前缀训练和自己续写,可进入《把预测、训练与评价摊在同一张样本表上》;动手时打开LAB01的“B · 同一预测目标,三个模型;训练一次,生成多次”:在样本表里逐位置核对输入—标签错位,再在固定模型下比较生成方式。 实施范围见实验路线B。