R23 · L3 的文字预测器，现在有一种实现

序列预测器现在有了具体的状态实现。先接回L3熟悉的图像字幕，辨认外部条件从哪里进入，再将这个入口换成中文源句。

状态 b0

湖边人物与狗提供字幕能描述的对象；先用图像事实判断描述应受什么约束。

状态 b2

从BOS沿分布→选词→回送形成生成环。图像影响由初态传递，下页将换掉前端编码器而保留这个条件接口。

状态 b1

图像特征投影为解码初态；本页选定的条件入口由此可见。

公式与算例详情

这张教学插画包含戴草帽的人、湖边木凳与一只小棕狗。一条可由画面支持的示例字幕是“A person sits by the lake with a dog.”；这是人工给出的教学描述，不是本项目模型运行结果。

最小图像字幕结构先计算视觉特征 $v=\operatorname{CNN}(I)$，再把投影后的特征作为递推网络的初始状态，例如 $h_0=\tanh(W_vv+b_v)$。生成器从 BOS 开始，依次预测词，直到 EOS。不同论文的注入方式不同，不必都画成每一步重新运行CNN。

训练目标与条件 LM 一致：

$$-\sum_t\log p(y_t\mid y_{<t},I).$$

训练时给真实前缀，生成时输入自己选出的 token。图像编码器可以固定，也可以随字幕目标微调；这属于实验条件。如果视觉编码器输出网格特征而非唯一向量，之后还可以按词动态读取不同区域，这为视觉 attention 留下接口。

当前图中的人物／狗高亮仅是讲解定位，不是实测 attention 权重。模型可能生成画面没有的内容；评价除了语言流畅，还要检查对象、属性与关系是否由图像支持。来源：V-RNN PDF p74–90；Vinyals et al.，Show and Tell: A Neural Image Caption Generator，https://arxiv.org/abs/1411.4555。

原课页采用记录：M14 双向、堆叠与其他序列任务、M31 图像作为序列。页码均按PDF物理页计。

继续学习

本页自学核对：沿整图特征→初态→生成追踪条件；整理成初始化式字幕模型的信息路径。

若从图像换成源句后，不清楚条件从哪里进入，可进入《2014：先拥有一个可工作的翻译器，再决定改哪里》；动手时打开LAB02的“D/E · 固定源序，比较两种读取接口”：比较课堂初始化接口与实验逐步拼接条件的具体约定；明确两者不能混写成同一实现。实施范围见实验路线D。