同一句文本，可以接受不同的学习要求
T41 · 同一句文本，可以接受不同的学习要求
三种操作都在同一句I gave him a book yesterday.上比较，重点是可见条件与监督位置，不强制一种目标唯一对应一种架构。
状态 b0
前缀I gave预测him；模型不能读取这次预测位置之后的词。
状态 b1
I [MASK] him a book可见左右上下文，目标是恢复gave。
状态 b2
从句中删去 gave him，保留前后文字作为条件，再生成这段缺失内容。画面用示意标记呈现任务，精确 sentinel 序列见本页说明。
公式与算例详情
去噪生成图只示意“删去一段，再生成缺失文字”。以 T5 的 sentinel 约定写全这个教学文本：输入为 I <extra_id_0> a book yesterday .，目标为 <extra_id_0> gave him <extra_id_1>，随后以 EOS 结束目标序列。若将两个 sentinel 简记为 X、Y，则 X 标出被删片段，目标从同一 X 起写回 gave him；Y 是下一片段的 sentinel，在这里标出缺失片段序列的结束，Y 本身不是 EOS。
这些空格单位不是 GPT、BERT 或 T5 的实际 tokenizer 输出。GPT、BERT、T5 分别是下一词、遮词恢复和去噪生成的典型路线；训练目标与架构并非永恒的一一对应。数据质量、覆盖、参数规模与训练计算也影响获得的能力，不能仅凭结构图推断。