中文放进同一前缀，读取接口也要改变
T42 · 中文放进同一前缀，读取接口也要改变
刚才比较了普通文本能提供的训练目标；现在把中文翻译任务放回模型，检查中文条件如何进入 decoder-only 的预测。
状态 b0
encoder产生源H；decoder的cross-attention从源H取K/V。
状态 b1
收起encoder、源H及cross连接，保留因果self-attention、逐位置加工与层叠词表接口。
状态 b2
任务指令、中文原句和已生成英文都属于本次输入；gave行用self-attention读合法前文，不再从独立H取K/V。
公式与算例详情
encoder–decoder 保持源、目标两套表示：decoder 的 cross-attention 从源 H 取得 K/V。decoder-only 移去独立 encoder 和 cross-attention 后，翻译指令、中文及已经生成的英文组成同一因果前缀；新的英文位置通过 self-attention 读取更早的位置。
普通文本预训练目标本身不保证指令遵循能力，训练与使用条件还须让模型学会利用这种输入安排。
继续学习
让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block
历史推导与原实验身份：R52。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。