分数怎样成为概率和损失？
T17 · 分数怎样成为概率和损失？
输出头是训练与完整生成的连接点。把一个位置的概率和损失算清，才能说明什么信号更新系统。
状态 b0
前缀I gave him a、标签book；候选him/yesterday/book logits为0/ln2/ln3。
状态 b1
指数化为1/2/3，总和6；p(book)=1/2，loss=ln2≈.693。
公式与算例详情
此处沿用有效输出头教学数值，但作为独立R72示例标明当前前缀I gave him a、正确book，三个候选为him／yesterday／book。给定logits=(0,ln2,ln3)，指数化为(1,2,3)，总和6，概率=(1/6,1/3,1/2)，正确项负对数损失−ln(1/2)=ln2≈.693147。
三候选不等于真实完整词表，也不是前页整句生成参数的实跑。正确词概率提高时该项损失下降；梯度随后可返回输出头、decoder、encoder和embedding。旧S09中她/her的历史身份和结果不被改写。
继续学习
历史推导与原实验身份：S09。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。