R51.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R51 · 同一视觉表示，接向两个真实任务
图像已切成位置序列。用同一组视觉表示分别接类别预测与逐词描述，检查输出目标改变时，图像从哪里影响答案。
<span id="r51-b0"></span>
## 状态 b0
每个像素块展平并经共享投影成为一行d维表示。沿一块核对展平维度与总块数，再辨认输出是序列。
本图选定无CLS的196行Z；原始ViT加CLS后的197行是另一配置，完整形状见详情。
<span id="r51-b3"></span>
## 状态 b3
分类分支已接通，描述分支保留合法语言Q，却缺视觉Z到K/V的线。先从缺口判断图像内容怎样可能影响下一词。
sits是参考描述中的目标词，不是本图测得的输出，也不在BOS A person前缀里。
<span id="r51-b4"></span>
## 状态 b4
补齐Z→K/V后，与语言Q汇合到词表头。对照类别监督与逐词监督，确认图像条件进入了哪里、参考目标放在哪里。
<span id="r51-b1"></span>
## 状态 b1
patch加位置后进入全可见encoder，输出仍是一组位置。分类输入的图块没有自回归语言那样的未来答案边界。
<span id="r51-b2"></span>
## 状态 b2
备用图并置CLS与平均池化：前者加入一行，后者直接聚合已有patch。两者是备选设计，不能前后串成同一次执行。
## 公式与算例详情
### 当前课堂选定的视觉条件设计
令Z∈R^(196×d)为无CLS视觉encoder的输出。分类支路 mean(Z)∈R^d 接类别线性层与softmax，用类别标签监督。caption支路将Z投影为K、V：K=ZW_K，V=ZW_V；合法语言前缀经因果decoder得到H，Q=HW_Q，cross-attention=softmax(QKᵀ/√d_k)V。源图全部已知，视觉K/V全可见；目标语言不能读未来。接回残差、FFN与词表头，用图文配对的下一词交叉熵训练。当前前缀BOS A person不含目标sits；该词是参考描述，并非运行结果。
这一选定教学设计复用跨序列读取，不代表所有视觉语言模型，也不是 ViT 原论文 caption 系统。比较同一图像的分类／字幕接口时，可以共用同一个 Z；此时比较的是输出接口与监督目标，并非换图实验。
### 换图与无图分别改变什么
视觉依赖测试另行固定视觉 encoder 参数、预处理、字幕模型参数（含视觉投影／读取接口与词表头）、词表／分词、合法语言前缀、评分与评测规则，关闭训练态 dropout。正确图与相关错配图采用相同流程，输入图像改变，Z 及其 K/V 随之重算；只固定前缀 token，不强行固定已受视觉条件影响的中间激活。观察依赖视觉事实的候选词概率及成对事实准确率，不能只看语言流畅度。
“无图”选用视觉分支消融：在每个视觉 cross-attention 子层的输出投影（含 bias）之后、加入语言残差之前，将该分支贡献门控为0，保留语言路径与其他参数。不把全部视觉 logits 屏蔽成 −∞，也不把 Z=0 当作天然无分布影响的对照。这个消融可能偏离训练分布，只显示该模型对移除视觉条件的敏感性，不能据此估计最优纯语言模型能力或证明理解；应结合正确／相关错配图的成对事实检查解释。
### 完整patch、CLS与池化形状（延伸）
将每个 $P\times P\times C$ patch 展平为 $P^2C$ 维向量，再乘共享矩阵 $E\in\mathbb R^{P^2C\times d}$，得到一行 d 维 patch embedding。对224×224 RGB图像和16×16 patch，输入矩阵从196×768经投影变为196×d。这个线性操作也可实现为 kernel与stride均为16的卷积；两者是同一种不重叠分块投影计算。
每行加位置表示，再经过 encoder 的全 self-attention、FFN、残差与归一化，输出仍是一组patch表示。原始 [ViT论文 §3.1](https://arxiv.org/abs/2010.11929) 在196个patch之前加入一个可学习的分类token，序列长变为197，使用该token的最终表示接分类头；本页选择的无CLS平均池化设计仍有196行，把各patch输出平均后接头，CS231n Lecture 8 物理 p110 展示了后一种路线。应明确选择哪一种，不把“平均池化”错写成原始ViT唯一结构。
本页仅展示实际图像的输入变换与结构接口，没有训练或运行视觉模型，不展示伪造类别分布。分类、图像字幕或其他任务会使用不同的输出接口和训练目标，但共享“先获得向量序列，再交换信息与变换通道”的结构思路。
### 参考与采用
- [Show, Attend and Tell · ICML 2015](https://proceedings.mlr.press/v37/xuc15.pdf)：2015已有卷积位置特征＋视觉attention＋LSTM逐词描述；不把视觉读取说成2017才出现。 复核位置：Figure 1（物理P1）；§3.1（物理P3）
原课页采用记录：[M31 图像作为序列](sources.html#M31)。页码均按PDF物理页计。
### 继续学习
若问题是 Z 怎样影响下一词，在[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“视觉接口 · 196 个 patch 如何影响下一词分布？”核对 K/V、语言 Q、视觉全可见与目标因果约束，并对照[分类／字幕与换图／无图的完整约定](lecture.html#read-R51)。若问题是“分布变了是否说明看懂图”，读[视觉条件是否真正被使用](https://codingai-lec05.pages.dev/course/knowledge/visual-condition-use.html)，再看同一 LAB 的“路径B · 换图后分布变了，模型是否看懂了”及[CLS 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-03-719b25c7c5b64687998ba9c19d2f6776?utm_content=719b25c7c5b64687998ba9c19d2f6776&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)同题段落：它检查四臂视觉条件与事实结论边界，和前一个接口实验用途不同。[受控实验设计](experiments.html#r5-controlled)保留相关错配图、重算 Z/K/V、门控整个视觉分支的要求。