R29 · 内容不变,输入排列也能改变训练难度
上一页允许把固定摘要列为怀疑对象。源序反转提供了反证:不更换接口也可能明显改善结果。先用它校准初始解释,再考虑按需读取是否值得增加复杂度。
状态 b0
目标顺序不变,源token倒序后重新编码。跟踪同一对应关系,比较它经过的计算路径。
状态 b1
同表正序与反序的质量出现,观察不换固定接口也能改善结果;精确配置与其他口径见详情。
状态 b2
将这项证据带回初始解释:它支持保留强旧基线,同时留下动态读取是否有额外收益的问题。
公式与算例详情
只反转源token顺序,再重新编码;目标顺序不变。它改变一些对应关系在计算链上的最小时间间隔,没有增加源信息。
课堂统一引用 Sutskever v1 Table 1:WMT14英语到法语全测试集,单模型、beam=12,BLEU正序26.17、反转30.59。原文§3.3另外报告PPL 5.8→4.7、BLEU25.9→30.6;它们不是26.17的四舍五入版本,本课不将两种口径拼成一个实验。
作者以部分最短路径改善解释优化收益,没有声称所有平均距离都缩短。Figure 3中其固定向量模型也表现出良好的长句性能;这支持保留强基线,不能讲成旧接口必然失败。图示中文句子仅展示操作,不是论文测量样本。
参考与采用
- Sequence to Sequence Learning · v1:在当时证据与资源条件下比较研究路线;细节与口径见本页说明。 复核位置:指定原版本的结构、设置与结果表
原课页采用记录:M17 当时还可以怎样改。页码均按PDF物理页计。
继续学习
本页自学核对:反转源序列后重新编码,保持目标不变;整理成路径对照与原论文指标的适用边界。
若想判断反转收益是否推翻固定摘要的瓶颈解释,可进入《2014:先拥有一个可工作的翻译器,再决定改哪里》;动手时打开LAB02的“D/E · 固定源序,比较两种读取接口”:区分论文内反转结果与读取接口比较,核对长度、编码方向、预算和搜索条件。 实施范围见实验路线D。