R01 · 先拆出一个能训练的下一词问题

上一页确定了翻译应保持的事件关系。要把整句任务落到可训练的计算，先从英文输出端取出一个尚未完成的位置，分清已知条件与待预测对象。

状态 b0

I gave是已知前缀，候选仍未选择。图中先写含源句的条件，再暂拿开中文，单独研究语言预测部件。

比较不同任务的标签位置：整句分类输出一次，标注逐位置输出，翻译输出另一条序列。目标会改变所需信息与loss的位置。

例如“Paris hosts a meeting”里的Paris可标为地点；“Paris Hilton arrived”中的Paris属于人名。同一拼写需要利用不同上下文，标签位置也须随任务确定。

完整翻译条件为源句与英文前缀；本段暂略源句，R24再将其接回。这一拆解不把完整翻译等同于只看目标前缀的语言模型。前缀是已知输入、候选是可能输出、真实下一词是训练标签。

把“拿起书→交给她→她带走书”倒过来，会改变事件解释。序列不是无序词袋，但不同任务需要保留的关系不同。语言模型预测下一token；句子分类给整段一个标签；命名实体识别给各位置标签；翻译产生另一条变长序列；图像字幕从视觉输入产生语言序列。

目标决定损失施加在哪里，也决定模型能合法看到什么。双向上下文适合完整句子的标注，不应直接泄漏给自回归下一词预测。

本页自学核对：写出保留与暂略源句条件的两种下一词问题；整理成两条条件概率式。

若仍混淆前缀、候选与训练标签，可进入《把预测、训练与评价摊在同一张样本表上》；动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：在样本表中把三种身份逐项分开，再核对下一词目标是否被提前送入输入。文字表示准备另见实验路线A。