Lecture 05 · 困惑度衡量预测，不等于全部语言能力

R12 · 困惑度衡量预测，不等于全部语言能力

训练已产生许多位置的损失。这条延伸把相同预测目标用于未参与训练的文本，检查怎样汇总模型表现，以及这个指标能回答多大的问题。

状态 b0

四个数各来自不同预测位置的真实目标，不是同一份四候选分布。

1/21/41/21/4四个真实目标 token 的预测概率

状态 b1

先求四个负对数的平均，再指数化。观察顺序是逐项loss→平均→PPL，不能先把概率作算术平均再取倒数。

此处使用自然对数，平均负对数似然H的单位为nats；指数化后的PPL不再以nats计。

1/21/41/21/4四个真实目标 token 的预测概率H = −(ln½ + ln¼ + ln½ + ln¼) / 4 = 1.0397PPL = exp(H) = √8 ≈ 2.8284

状态 b2

最后比较口径出现：分词、测试文本与有效目标计数需要一致。指标支持的是这项文本预测的比较。

1/21/41/21/4四个真实目标 token 的预测概率H = −(ln½ + ln¼ + ln½ + ln¼) / 4 = 1.0397PPL = exp(H) = √8 ≈ 2.8284同一分词、测试集、有效token口径，再比较。

公式与算例详情

对N个有效目标token，平均负对数似然为$H=-\frac1N\sum_t\ln p(x_t\mid x_{<t})$，困惑度为$\mathrm{PPL}=e^H$。这四项各来自不同位置的正确目标，不是同一分布的四个候选。本例四项概率$1/2,1/4,1/2,1/4$，$H=1.03972077$，$\mathrm{PPL}=\sqrt8\approx2.8284$。

它等价于真实目标概率几何平均数的倒数，可理解为该分布下的平均不确定度尺度，不是模型每一步固定在2.8个词中选择。不同tokenizer改变事件粒度与N，PPL通常不能直接横比。更低PPL不自动保证事实准确、翻译质量或远距离查询正确。

原课页采用记录：M11 训练与生成如何不同。页码均按PDF物理页计。

继续学习

本页自学核对：固定 token 和数据划分，从平均交叉熵算 PPL；整理成口径相同的一组比较。

若想比较两个模型的PPL，可进入《把预测、训练与评价摊在同一张样本表上》；动手时打开LAB01的“B · 同一预测目标，三个模型；训练一次，生成多次”：先核有效目标数、EOS/PAD、分词和测试划分，再读NLL与自由生成指标各自的分母。 实施范围见实验路线B。