R11.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R11 · 一句现成文本，怎样同时给出输入和答案？

网络能给出下一词分布以后，还需要训练答案。一条现成文本能否在许多位置同时提供合法输入与监督，而无需另作逐词标注？

<span id="r11-b0"></span>

## 状态 b0

输入与目标相差一格；例如输入gave的列要预测her。这里仅展开完整句子的前五个位置。

<span id="r11-b1"></span>

## 状态 b1

每列从自己的分布取出正确目标概率，负对数后汇入总loss。先看一列，再看总和。

<span id="r11-b2"></span>

## 状态 b2

新增提醒明确标签只用于批改，不可进入同一次预测的前向输入；下一页撤去真实后续词后，就必须用自己的选择继续。

## 公式与算例详情

将目标右移后作为输入，是自回归监督的基本组织方式：输入BOS、I、gave、her、a，对应目标I、gave、her、a、book。模型用合法前缀预测下一项，再把正确答案用于损失，而非直接送给同一预测节点。

图中只展开完整句子的前五个预测位置，后续仍需预测句号与EOS。一批序列通常有不同长度，需要padding；求平均时只计有效目标token。训练用真实前缀常称teacher forcing，生成时则接回模型选出的词，两者前缀分布可能不同。当前是目标组织，RNN沿时间串行、Transformer训练可并行的差别随后由架构解释。

原课页采用记录：[M10 RNN怎样训练](sources.html#M10)、[M11 训练与生成如何不同](sources.html#M11)、[M25 mask 与预测目标](sources.html#M25)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R11)：将一句话右移为输入／目标并补 EOS；整理成逐位置 loss 与总目标的对应表。

若仍混淆真实前缀训练和自己续写，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：在样本表里逐位置核对输入—标签错位，再在固定模型下比较生成方式。 实施范围见[实验路线B](experiments.html#experiment-B)。