R01.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R01 · 先拆出一个能训练的下一词问题

上一页确定了翻译应保持的事件关系。要把整句任务落到可训练的计算，先从英文输出端取出一个尚未完成的位置，分清已知条件与待预测对象。

<span id="r01-b0"></span>

## 状态 b0

I gave是已知前缀，候选仍未选择。图中先写含源句的条件，再暂拿开中文，单独研究语言预测部件。

<span id="r01-b1"></span>

## 状态 b1

比较不同任务的标签位置：整句分类输出一次，标注逐位置输出，翻译输出另一条序列。目标会改变所需信息与loss的位置。

例如“Paris hosts a meeting”里的Paris可标为地点；“Paris Hilton arrived”中的Paris属于人名。同一拼写需要利用不同上下文，标签位置也须随任务确定。

## 公式与算例详情

完整翻译条件为源句与英文前缀；本段暂略源句，R24再将其接回。这一拆解不把完整翻译等同于只看目标前缀的语言模型。前缀是已知输入、候选是可能输出、真实下一词是训练标签。

把“拿起书→交给她→她带走书”倒过来，会改变事件解释。序列不是无序词袋，但不同任务需要保留的关系不同。语言模型预测下一token；句子分类给整段一个标签；命名实体识别给各位置标签；翻译产生另一条变长序列；图像字幕从视觉输入产生语言序列。

目标决定损失施加在哪里，也决定模型能合法看到什么。双向上下文适合完整句子的标注，不应直接泄漏给自回归下一词预测。

原课页采用记录：[M01 为什么处理语言与序列](sources.html#M01)、[M05 同一个词为什么含义不同](sources.html#M05)、[M14 双向、堆叠与其他序列任务](sources.html#M14)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R01)：写出保留与暂略源句条件的两种下一词问题；整理成两条条件概率式。

若仍混淆前缀、候选与训练标签，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：在样本表中把三种身份逐项分开，再核对下一词目标是否被提前送入输入。 文字表示准备另见[实验路线A](experiments.html#experiment-A)。