参考译文怎样放到输入与标签两侧?
T16 · 参考译文怎样放到输入与标签两侧?
完整生成路径已经走通,训练需要把成对译文转成每个位置的预测任务。正确过去与当前批改答案要严格分开。
状态 b0
输入BOS/I/gave/…/句号对应标签I/gave/him/…/EOS。
状态 b1
当前合法前缀BOS I gave,不含him;him只在这列标签端。
公式与算例详情
teacher forcing输入为BOS、I、gave、him、a、book、yesterday、.;标签为I、gave、him、a、book、yesterday、.、EOS。同一列的输入预测下一项标签。
在gave列,模型只接收BOS I gave作为目标历史,him是当前批改的答案,不能提前输入。训练时正确过去来自参考译文;实际生成则接回自己的选择,两种条件将在后页同图比较。源中文仍是完整已知条件。
继续学习
历史推导与原实验身份:S09。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。