T48 · 通路能计算，还要学会图像与语言的对应

投影让视觉向量可以进入计算，但蓝色封面与 blue 的对应仍需学习。沿同一前向路径，比较两个训练阶段允许更新哪些参数。

状态 b0

同一图经视觉编码器、投影与语言模型，向量宽度一致只保证可以计算。

状态 b1

具体LLaVA方案先用图像—描述配对训练投影，视觉与语言主体参数冻结。

状态 b2

视觉指令—答案阶段训练投影及语言模型；视觉编码器继续冻结，前向路径不删除。

状态 b3

a预测blue，blue预测book，直到EOS；标签在loss端，梯度只更新本阶段允许的参数。

公式与算例详情

本页依据 LLaVA 2304.08485v2：物理页 4 展示线性投影与视觉前缀，物理页 5 说明两阶段训练范围。第一阶段用图像—描述配对训练投影 W，视觉编码器和语言模型冻结；第二阶段用视觉指令—答案训练 W 和语言模型，视觉编码器继续冻结。

冻结指参数不更新，前向计算仍继续传递图像条件。答案与停止标记提供右移监督，loss 的梯度只更新该阶段允许训练的参数。这是该具体方案的范围，不是所有视觉语言模型的统一处方。

继续学习

同一段文本，三种预训练问题 · LAB03：F · 跟着一个 token 穿过完整 encoder block

路径 B：换图后分布变了，模型是否看懂了 · LAB03：路径B · 换图后分布变了，模型是否看懂了

历史推导与原实验身份：R23 · R50 · R51。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/2304.08485v2：。原版本及采用边界见正文