Lecture 05 · 可以重新读取,循环依然存在

S18 · 可以重新读取,循环依然存在

动态读取提高总体成绩,却不会使每一个样本都正确。一条已有评分证据足以限定当前问题,随后把研究视线转回完整系统结构。

状态 b0

LAB02源b d a d e,正确e d a d b EOS,实际d e d a b EOS。beam2每步最多保留2条候选,已保留正确完成项;评分是含EOS的逐词自然对数概率之和,无长度惩罚,越大越好。正确−1.280045低于错误−.905535,首错在BOS。

动态读取仍会出错:一条真实输出LAB02 · BOS 首步源:b d a d e正确:e d a d b EOS实际:d e d a b EOSbeam2:每步最多留 2 条候选;已保留正确完成项正确 −1.280045 < 错误 −.905535分数=逐词 ln p 求和(含 EOS、无长度惩罚);越大越好第一步只有 BOS:这例先要解释模型为什么排错。

状态 b1

源h1…h6依次形成,目标状态仍循环产生;逐次读取增加源访问通路,尚未替换序列计算骨架。

我 / 昨天 / 给了 / 她 / 一本 / 书源状态与目标状态,仍沿循环产生我h1昨天h2给了h3她h4一本h5书h6目标状态 sₜ₋₁目标状态 sₜ下一目标状态当前词表预测可以重新读取了。产生这些状态的计算图,还能怎样改变?

公式与算例详情

来自DN2对DN1云端 dynamic-500.pt 的只读重评,按测试顺序选择第一条greedy失败,索引25。源 b d a d e,目标 e d a d b EOS,实际 d e d a b EOS。第一步两种路径都只输入BOS,已发生错误,不能把首错解释为此前生成错词的积累。当前实现初始h=0、query无bias,首步均匀读取;encoder表示仍可含信息,所以均匀不是已证实根因。

beam2最终保留正确完成项,但其累计自然对数概率−1.280045低于错误项约−.905535;包含EOS,无长度惩罚。云端与本地末位有约6.41×10⁻⁷差别,排序相同。这支持先查模型排序与首步机制/训练,不证明全空间全局最优,也不证明beam从此无用。

补充阅读中的her/him教学评分是另一案例:同条件下her−6.4高于返回him−8.2,支持至少这一对候选的搜索遗漏。两个案例并存,不能拼成一次运行或互相撤销。

路径A:与构造搜索遗漏例成对比较

教学构造,不是checkpoint实跑。 源句相同,模型、tokenizer和评分规则相同;两句都含八个目标token,计入句号和EOS,分数为各目标条件概率自然对数之和,无长度惩罚。返回项I gave him a book yesterday . EOS得分−8.2;未返回的I gave her a book yesterday . EOS得分−6.4。对数概率较大者为−6.4,因此在所列这对候选中模型更偏好正确句,搜索却未返回它。

结论只到这一步:候选生成、覆盖、剪枝、实现或终止处理值得优先查。它不证明正确句是全空间最优,不证明模型所有源信息都用对,也不说明只扩大beam就一定解决其他错误。若正确候选已有但给分更低,诊断会转向模型排序等问题;本页LAB02真实合成反转样本提供这种不同证据,不能将两组分数混成同次运行。

竞争解释可通过有条件的试验分开:固定模型重算已知候选分数;记录beam中正确前缀何时被剪;改变源中的关键事实做配对;查看训练数据与留出误差。诊断是确定下一项有区分力的观察,不是把所有机制一次加上。

课堂只作短回访:本真实反转例正确候选已被beam2保留,模型却给错误候选更高分;构造her/him例则同一模型更偏好正确句而搜索未返回。二者分别解释不同证据,不能互相替代。默认路线不再逐树演绎两案。

继续学习

从2017计算图到2020组合,再看持续状态系统 · LAB02:接着研究 · 哪个实验最便宜,又能区分解释?

路径 A:分数进步了,为什么这一句仍然错 · LAB02:路径A · 分数进步了,为什么这一句仍然错

保留的完整推导:R28 · R29 · R59。