S18 · 可以重新读取,循环依然存在
动态读取提高总体成绩,却不会使每一个样本都正确。一条已有评分证据足以限定当前问题,随后把研究视线转回完整系统结构。
状态 b0
LAB02源b d a d e,正确e d a d b EOS,实际d e d a b EOS。beam2每步最多保留2条候选,已保留正确完成项;评分是含EOS的逐词自然对数概率之和,无长度惩罚,越大越好。正确−1.280045低于错误−.905535,首错在BOS。
状态 b1
源h1…h6依次形成,目标状态仍循环产生;逐次读取增加源访问通路,尚未替换序列计算骨架。
公式与算例详情
来自DN2对DN1云端 dynamic-500.pt 的只读重评,按测试顺序选择第一条greedy失败,索引25。源 b d a d e,目标 e d a d b EOS,实际 d e d a b EOS。第一步两种路径都只输入BOS,已发生错误,不能把首错解释为此前生成错词的积累。当前实现初始h=0、query无bias,首步均匀读取;encoder表示仍可含信息,所以均匀不是已证实根因。
beam2最终保留正确完成项,但其累计自然对数概率−1.280045低于错误项约−.905535;包含EOS,无长度惩罚。云端与本地末位有约6.41×10⁻⁷差别,排序相同。这支持先查模型排序与首步机制/训练,不证明全空间全局最优,也不证明beam从此无用。
补充阅读中的her/him教学评分是另一案例:同条件下her−6.4高于返回him−8.2,支持至少这一对候选的搜索遗漏。两个案例并存,不能拼成一次运行或互相撤销。
路径A:与构造搜索遗漏例成对比较
教学构造,不是checkpoint实跑。 源句相同,模型、tokenizer和评分规则相同;两句都含八个目标token,计入句号和EOS,分数为各目标条件概率自然对数之和,无长度惩罚。返回项I gave him a book yesterday . EOS得分−8.2;未返回的I gave her a book yesterday . EOS得分−6.4。对数概率较大者为−6.4,因此在所列这对候选中模型更偏好正确句,搜索却未返回它。
结论只到这一步:候选生成、覆盖、剪枝、实现或终止处理值得优先查。它不证明正确句是全空间最优,不证明模型所有源信息都用对,也不说明只扩大beam就一定解决其他错误。若正确候选已有但给分更低,诊断会转向模型排序等问题;本页LAB02真实合成反转样本提供这种不同证据,不能将两组分数混成同次运行。
竞争解释可通过有条件的试验分开:固定模型重算已知候选分数;记录beam中正确前缀何时被剪;改变源中的关键事实做配对;查看训练数据与留出误差。诊断是确定下一项有区分力的观察,不是把所有机制一次加上。
课堂只作短回访:本真实反转例正确候选已被beam2保留,模型却给错误候选更高分;构造her/him例则同一模型更偏好正确句而搜索未返回。二者分别解释不同证据,不能互相替代。默认路线不再逐树演绎两案。