Lecture 05 · 内容不变,输入排列也能改变训练难度

R29 · 内容不变,输入排列也能改变训练难度

上一页允许把固定摘要列为怀疑对象。源序反转提供了反证:不更换接口也可能明显改善结果。先用它校准初始解释,再考虑按需读取是否值得增加复杂度。

状态 b0

目标顺序不变,源token倒序后重新编码。跟踪同一对应关系,比较它经过的计算路径。

源顺序变 → 重算编码状态与 c_src;目标英文保持不变原顺序我昨天给了她一本书c_src→I…反转源句书一本她给了昨天我c_src→I…早期源词 → 早期目标:部分路径变近目标不反转:I gave her a book yesterday.论文结果 · 英→法 · beam=12待修复:him → her

状态 b1

同表正序与反序的质量出现,观察不换固定接口也能改善结果;精确配置与其他口径见详情。

源顺序变 → 重算编码状态与 c_src;目标英文保持不变原顺序我昨天给了她一本书c_src→I…反转源句书一本她给了昨天我c_src→I…早期源词 → 早期目标:部分路径变近目标不反转:I gave her a book yesterday.正序 BLEU ↑反转 BLEU ↑26.1730.59论文结果 · 英→法 · beam=12待修复:him → her

状态 b2

将这项证据带回初始解释:它支持保留强旧基线,同时留下动态读取是否有额外收益的问题。

源顺序变 → 重算编码状态与 c_src;目标英文保持不变原顺序我昨天给了她一本书c_src→I…反转源句书一本她给了昨天我c_src→I…早期源词 → 早期目标:部分路径变近目标不反转:I gave her a book yesterday.正序 BLEU ↑反转 BLEU ↑26.1730.59部分最小间隔缩短;下一页恢复原源序,再改读取接口。论文结果 · 英→法 · beam=12待修复:him → her

公式与算例详情

只反转源token顺序,再重新编码;目标顺序不变。它改变一些对应关系在计算链上的最小时间间隔,没有增加源信息。

课堂统一引用 Sutskever v1 Table 1:WMT14英语到法语全测试集,单模型、beam=12,BLEU正序26.17、反转30.59。原文§3.3另外报告PPL 5.8→4.7、BLEU25.9→30.6;它们不是26.17的四舍五入版本,本课不将两种口径拼成一个实验。

作者以部分最短路径改善解释优化收益,没有声称所有平均距离都缩短。Figure 3中其固定向量模型也表现出良好的长句性能;这支持保留强基线,不能讲成旧接口必然失败。图示中文句子仅展示操作,不是论文测量样本。

参考与采用

  • Sequence to Sequence Learning · v1:在当时证据与资源条件下比较研究路线;细节与口径见本页说明。 复核位置:指定原版本的结构、设置与结果表

原课页采用记录:M17 当时还可以怎样改。页码均按PDF物理页计。

继续学习

本页自学核对:反转源序列后重新编码,保持目标不变;整理成路径对照与原论文指标的适用边界。

若想判断反转收益是否推翻固定摘要的瓶颈解释,可进入《2014:先拥有一个可工作的翻译器,再决定改哪里》;动手时打开LAB02的“D/E · 固定源序,比较两种读取接口”:区分论文内反转结果与读取接口比较,核对长度、编码方向、预算和搜索条件。 实施范围见实验路线D。