T47 · a 行先读条件，选出 blue 后才回送

同一蓝图已经成为投影后的视觉位置。现在把它放入语言前缀，检查英文写到 a 时如何读取条件，以及 blue 何时才成为输入。

状态 b0

视觉位置、题目、中文与I gave him a已经给定，blue未作为当前输入。

状态 b1

Q属于a行，causal self-attention合法读取视觉、题目、中文、已有英文与自身。

状态 b2

读取内容进入后续层与词表，blue在预测端被选出，不被用来反向构造当前查询。

状态 b3

blue作为新输入形成新query；预测端只显示问号，下一词尚未知，仍沿读取、层叠和词表接口计算。

状态 b4

此态才揭出book作为选词结果，再回送并继续yesterday、句号、EOS；不把预测结果提前当作上一态输入。

公式与算例详情

采用 LLaVA 2304.08485v2 的视觉前缀路线：投影视觉位置与任务文字组成 decoder 的前缀，经因果 self-attention 读取，不另插独立 cross-attention。

在 a → blue 这一步，Q 来自 a 行，blue 只在预测端；选出并回送 blue 后，下一步才由 blue 行形成 Q 并预测 book。可见条件还包括题目、中文和已有英文。图中词序是扩展任务的参考生成路径，不是随机教学参数实测生成的正确答案，也不展示未运行模型的注意力或准确率。

继续学习

读取之后，系统怎样决定写 him · LAB02：E · 只改 q 或只改 V，分别会改变什么？

让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block

路径 B：换图后分布变了，模型是否看懂了 · LAB03：路径B · 换图后分布变了，模型是否看懂了

历史推导与原实验身份：R23 · R50 · R51。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/2304.08485v2：。原版本及采用边界见正文