R23.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R23 · L3 的文字预测器，现在有一种实现

序列预测器现在有了具体的状态实现。先接回L3熟悉的图像字幕，辨认外部条件从哪里进入，再将这个入口换成中文源句。

<span id="r23-b0"></span>

## 状态 b0

湖边人物与狗提供字幕能描述的对象；先用图像事实判断描述应受什么约束。

<span id="r23-b2"></span>

## 状态 b2

从BOS沿分布→选词→回送形成生成环。图像影响由初态传递，下页将换掉前端编码器而保留这个条件接口。

<span id="r23-b1"></span>

## 状态 b1

图像特征投影为解码初态；本页选定的条件入口由此可见。

## 公式与算例详情

这张教学插画包含戴草帽的人、湖边木凳与一只小棕狗。一条可由画面支持的示例字幕是“A person sits by the lake with a dog.”；这是人工给出的教学描述，不是本项目模型运行结果。

最小图像字幕结构先计算视觉特征 $v=\operatorname{CNN}(I)$，再把投影后的特征作为递推网络的初始状态，例如 $h_0=\tanh(W_vv+b_v)$。生成器从 BOS 开始，依次预测词，直到 EOS。不同论文的注入方式不同，不必都画成每一步重新运行CNN。

训练目标与条件 LM 一致：

$$-\sum_t\log p(y_t\mid y_{<t},I).$$

训练时给真实前缀，生成时输入自己选出的 token。图像编码器可以固定，也可以随字幕目标微调；这属于实验条件。如果视觉编码器输出网格特征而非唯一向量，之后还可以按词动态读取不同区域，这为视觉 attention 留下接口。

当前图中的人物／狗高亮仅是讲解定位，不是实测 attention 权重。模型可能生成画面没有的内容；评价除了语言流畅，还要检查对象、属性与关系是否由图像支持。来源：V-RNN PDF p74–90；Vinyals et al.，*Show and Tell: A Neural Image Caption Generator*，https://arxiv.org/abs/1411.4555。

原课页采用记录：[M14 双向、堆叠与其他序列任务](sources.html#M14)、[M31 图像作为序列](sources.html#M31)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R23)：沿整图特征→初态→生成追踪条件；整理成初始化式字幕模型的信息路径。

若从图像换成源句后，不清楚条件从哪里进入，可进入[《2014：先拥有一个可工作的翻译器，再决定改哪里》](https://codingai-lec05.pages.dev/course/knowledge/translation-choices-2014.html)；动手时打开[LAB02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“D/E · 固定源序，比较两种读取接口”：比较课堂初始化接口与实验逐步拼接条件的具体约定；明确两者不能混写成同一实现。 实施范围见[实验路线D](experiments.html#experiment-D)。