R48 · 初见论文：质量与成本，支持多大的投入？
机制与运行方式都已看清，但结构机会还不是投入理由。回到2017年初稿公开时，读任务质量与训练成本，决定是否值得复现。
状态 b0
先读英德同任务列，比较base的质量和估计训练成本，据此形成一个初步复现选择。
状态 b1
切到英法后base排序改变，big规模也进入比较。先前判断需要补上任务与规模条件。
本页按2017年6月初稿读表，后期稿数字不倒填到这次历史选择。
状态 b2
把论文表与本地复现约束并置，区分文献估计和统一条件实测。下一步需检验哪项优势是否在自己的预算下成立。
公式与算例详情
2017 年 6 月：用当时可见证据排序
GNMT 已有深层 LSTM、attention、残差与 wordpiece；ConvS2S 用卷积与 attention 组织序列，已经重视并行计算。这里采用 Transformer 2017-06-12 v1 的 Table 2，而不是将后续结果回填到初稿时点。
| 单模型 | 英德 BLEU | 估计训练 FLOPs（见口径） | 英法 BLEU |
|---|---|---|---|
| GNMT + RL | 24.6 | 2.3×10¹⁹ | 39.92 |
| ConvS2S | 25.16 | 9.6×10¹⁸ | 40.46 |
| Transformer base | 27.3 | 3.3×10¹⁸ | 38.1 |
| Transformer big | 28.4 | 2.3×10¹⁹ | 41.0 |
base 在英德质量与成本两列都值得关注；换到英法，base 的排序变化。big 的 41.0 超过此前单模型，但低于当时 GNMT 与 ConvS2S 八模型集成的 41.16、41.29。后期稿中的 41.8 不属于本课这个情景。
训练成本的口径
原表中 Transformer 的训练成本单元格跨英德、英法任务合并；这里保留其共同报告值，不能拆造两套精确的分任务成本。训练 FLOPs 是论文按时间、GPU 数与估计持续 FP32 算力计算的文献比较，不是统一硬件复测。base 为 8 张 P100 训练 12 小时，big 为 3.5 天；这提供复现规模线索，不承诺任意硬件时间。结构表的 O(n²d) 是 attention 交互项；完整块还有投影和 FFN。相对于循环 O(nd²) 的优势受 n、d 影响。普通局部卷积依靠层叠扩大范围；O(log_k n) 的路径说法需膨胀卷积等条件。
哪个最小实验值得先做
课堂设定只有一周复现时间、任务近似英德且已有可运行强基线。当前采用先复现 base 的最小可信实验，再决定迁移。最小可信意味着固定数据和评测，检查多个种子的质量、训练吞吐、峰值内存及错误类型；不是仅确认代码可以运行。若尚无可用的新任务数据与组件，迁移会同时改变较多条件，宜后置；若已有图文数据、可复用组件和明确假设，也可以先做受约束的视觉实验。如果任务是英法最高质量、已有成熟系统，继续旧路线同时验证新模型也合理。
可改判结果包括：统一条件后质量优势消失；可用硬件上的吞吐收益不足；长序列内存代价无法接受；结果不稳定。相反，若质量—成本曲线与关键错误类型都改善，再扩大投入。研究选择有明确倾向，也保留其适用条件。
参考与采用
- Google Neural Machine Translation · v2：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表
- Convolutional Sequence to Sequence Learning · v2：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表
- Attention Is All You Need · 2017-06 v1：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：§3、Table 1/2 与 §7 Conclusion（物理P10）
原课页采用记录：M23 为什么考虑去掉 recurrence、M30 原始实验支持什么。页码均按PDF物理页计。
继续学习
要决定自己条件下先复现还是迁移，先在2017 初稿表与成本口径分别读英德、英法两列，列出任务、硬件和现有组件。两种时间尺度的路线判断的“用初稿的数字作当时的决定”保留相同历史时点；在LAB 02“接着研究 · 哪个实验最便宜，又能区分解释？”与研究选择入口写一个最小实验及会改变排序的观察，不能把后期结果回填成当时已知事实。