移走中文以后，训练任务已经改变
T40 · 移走中文以后，训练任务已经改变
从双语条件生成转到普通文本学习，改变的是数据与监督任务。模型图、训练样本和损失必须同时对应，不可悄悄删掉中文后仍声称是同一种翻译训练。
状态 b0
中文是给定条件，正确英文前缀是当前输入，下一个英文词是监督。
状态 b1
中文条件实际从计算对象中移走；I gave→him现在是普通文本的下一词学习，不再是此中文的翻译训练。
状态 b2
同一普通文本的相邻位置提供多个监督，预测分布、损失与优化器继续更新共享参数。
公式与算例详情
同一段普通文本可以在多个位置产生下一词监督，各位置损失共同更新共享参数。此处的三个位置用于说明监督怎样构造，不代表本课重新训练了一个语言模型。BOS 是输入标记；句号是可预测的标点，EOS 是终止标记。