从机器翻译到 Transformer

左右滑动查看完整图解 ↔

从同一图的像素，走到视觉前缀的宽度

任务现在需要使用图片中的颜色。先把同一幅图的像素位置找清楚，再追踪这些位置怎样变成语言模型能读取的表示。

在原图上加 6×4 教学网格，中央四格覆盖书与手部的局部。

右侧四块与原图第 2、3 行及第 3、4 列对应；沿封面边缘可以核对同一对象跨过多个块。

像素、块与位置共同形成视觉表示；物体可跨块，表示行不等于物体标签。

可学习投影将视觉编码器输出变为语言模型可接收的宽度，随后进入同一前缀。

原图为 1536×1024；右侧四块 256×256 裁片分别取自教学网格的 r2c3、r2c4、r3c3、r3c4，与 assets/r72/crop-manifest.json 对应。6×4 只是观察像素位置的教学网格，不是 CLIP ViT-L/14 的实际位置配置。

LLaVA 2304.08485v2 使用预训练视觉编码器的输出，经可学习投影进入语言模型的嵌入空间。视觉编码器整合块与位置的信息，输出行不应解释为“一行只代表一个物体”。

历史推导与原实验身份：R50。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。