R06 · 整句概率，拆成同一类局部预测

前面已经有了向量输入与上下文问题。现在给表示规定用途：从一个下一词位置扩展到整句，建立不同模型都可以尝试实现的概率目标。

公式与算例详情

语言模型定义token序列的概率。将最后一项设为EOS，可写$p(x_{1:T})=\prod_{t=1}^{T}p(x_t\mid x_{<t})$。这是概率链式法则，不是神经网络特有假设。模型架构的工作，是估计每一个条件分布。

“I gave”后面可以出现her，也可以出现him。一次前向计算产生词表上的分布，而非唯一正确句子。生成还需要选词策略；训练则用真实下一项计算负对数似然。EOS把停止作为预测的一部分，避免把输出长度误认为外部固定。

本页保持开场完整英文，包括yesterday、句号与EOS；BOS提供起始条件，句号也是本例token。这里只暂略源句条件，没有删掉时间信息或提前终止序列。

原课页采用记录：M07 LM究竟预测什么。页码均按PDF物理页计。

继续学习

本页自学核对：沿英文目标句拆条件概率，圈出已知前缀；整理成逐位置预测任务表。

若还不能把整句概率与逐位置损失对上，可进入《把预测、训练与评价摊在同一张样本表上》；动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：在同一条样本中核对BOS、EOS和每个目标的概率，区分预测评分与生成输出。 实施范围见实验路线B。