R06.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R06 · 整句概率，拆成同一类局部预测

前面已经有了向量输入与上下文问题。现在给表示规定用途：从一个下一词位置扩展到整句，建立不同模型都可以尝试实现的概率目标。

<span id="r06-b0"></span>

## 状态 b0

保持完整英文句子，先只追I gave之后的her这个位置。每个位置都有相应前缀。

<span id="r06-b1"></span>

## 状态 b1

新增乘积把各位置概率连成整句概率。每一项的条件都随前缀变化，因此不是词彼此独立的乘积。

## 公式与算例详情

语言模型定义token序列的概率。将最后一项设为EOS，可写$p(x_{1:T})=\prod_{t=1}^{T}p(x_t\mid x_{<t})$。这是概率链式法则，不是神经网络特有假设。模型架构的工作，是估计每一个条件分布。

“I gave”后面可以出现her，也可以出现him。一次前向计算产生词表上的分布，而非唯一正确句子。生成还需要选词策略；训练则用真实下一项计算负对数似然。EOS把停止作为预测的一部分，避免把输出长度误认为外部固定。

本页保持开场完整英文，包括yesterday、句号与EOS；BOS提供起始条件，句号也是本例token。这里只暂略源句条件，没有删掉时间信息或提前终止序列。

原课页采用记录：[M07 LM究竟预测什么](sources.html#M07)。页码均按PDF物理页计。

### 继续学习

[本页自学核对](lecture.html#read-R06)：沿英文目标句拆条件概率，圈出已知前缀；整理成逐位置预测任务表。

若还不能把整句概率与逐位置损失对上，可进入[《把预测、训练与评价摊在同一张样本表上》](https://codingai-lec05.pages.dev/course/knowledge/objectives-and-evaluation.html)；动手时打开[LAB01](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-01-ec403d28cc2c400ba661cd270588669f?utm_content=ec403d28cc2c400ba661cd270588669f&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“B · 同一预测目标，三个模型；训练一次，生成多次”：在同一条样本中核对BOS、EOS和每个目标的概率，区分预测评分与生成输出。 实施范围见[实验路线B](experiments.html#experiment-B)。