R48.md · 可读全文

这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。

# R48 · 初见论文：质量与成本，支持多大的投入？

机制与运行方式都已看清，但结构机会还不是投入理由。回到2017年初稿公开时，读任务质量与训练成本，决定是否值得复现。

<span id="r48-b0"></span>

## 状态 b0

先读英德同任务列，比较base的质量和估计训练成本，据此形成一个初步复现选择。

<span id="r48-b1"></span>

## 状态 b1

切到英法后base排序改变，big规模也进入比较。先前判断需要补上任务与规模条件。

本页按2017年6月初稿读表，后期稿数字不倒填到这次历史选择。

<span id="r48-b2"></span>

## 状态 b2

把论文表与本地复现约束并置，区分文献估计和统一条件实测。下一步需检验哪项优势是否在自己的预算下成立。

## 公式与算例详情

### 2017 年 6 月：用当时可见证据排序

GNMT 已有深层 LSTM、attention、残差与 wordpiece；ConvS2S 用卷积与 attention 组织序列，已经重视并行计算。这里采用 Transformer 2017-06-12 v1 的 Table 2，而不是将后续结果回填到初稿时点。

| 单模型 | 英德 BLEU | 估计训练 FLOPs（见口径） | 英法 BLEU |
| --- | ---: | ---: | ---: |
| GNMT + RL | 24.6 | 2.3×10¹⁹ | 39.92 |
| ConvS2S | 25.16 | 9.6×10¹⁸ | 40.46 |
| Transformer base | 27.3 | 3.3×10¹⁸ | 38.1 |
| Transformer big | 28.4 | 2.3×10¹⁹ | 41.0 |

base 在英德质量与成本两列都值得关注；换到英法，base 的排序变化。big 的 41.0 超过此前单模型，但低于当时 GNMT 与 ConvS2S 八模型集成的 41.16、41.29。后期稿中的 41.8 不属于本课这个情景。

### 训练成本的口径

原表中 Transformer 的训练成本单元格跨英德、英法任务合并；这里保留其共同报告值，不能拆造两套精确的分任务成本。训练 FLOPs 是论文按时间、GPU 数与估计持续 FP32 算力计算的文献比较，不是统一硬件复测。base 为 8 张 P100 训练 12 小时，big 为 3.5 天；这提供复现规模线索，不承诺任意硬件时间。结构表的 O(n²d) 是 attention 交互项；完整块还有投影和 FFN。相对于循环 O(nd²) 的优势受 n、d 影响。普通局部卷积依靠层叠扩大范围；O(log_k n) 的路径说法需膨胀卷积等条件。

### 哪个最小实验值得先做

课堂设定只有一周复现时间、任务近似英德且已有可运行强基线。当前采用先复现 base 的最小可信实验，再决定迁移。最小可信意味着固定数据和评测，检查多个种子的质量、训练吞吐、峰值内存及错误类型；不是仅确认代码可以运行。若尚无可用的新任务数据与组件，迁移会同时改变较多条件，宜后置；若已有图文数据、可复用组件和明确假设，也可以先做受约束的视觉实验。如果任务是英法最高质量、已有成熟系统，继续旧路线同时验证新模型也合理。

可改判结果包括：统一条件后质量优势消失；可用硬件上的吞吐收益不足；长序列内存代价无法接受；结果不稳定。相反，若质量—成本曲线与关键错误类型都改善，再扩大投入。研究选择有明确倾向，也保留其适用条件。

原版：[GNMT v2](https://arxiv.org/pdf/1609.08144v2)，[ConvS2S v2](https://arxiv.org/pdf/1705.03122v2)，[Transformer v1](https://arxiv.org/pdf/1706.03762v1)。

### 参考与采用

- [Google Neural Machine Translation · v2](https://arxiv.org/pdf/1609.08144v2)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表
- [Convolutional Sequence to Sequence Learning · v2](https://arxiv.org/pdf/1705.03122v2)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：指定原版本的结构、设置与结果表
- [Attention Is All You Need · 2017-06 v1](https://arxiv.org/pdf/1706.03762v1)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：§3、Table 1/2 与 §7 Conclusion（物理P10）

原课页采用记录：[M23 为什么考虑去掉 recurrence](sources.html#M23)、[M30 原始实验支持什么](sources.html#M30)。页码均按PDF物理页计。

### 继续学习

要决定自己条件下先复现还是迁移，先在[2017 初稿表与成本口径](lecture.html#read-R48)分别读英德、英法两列，列出任务、硬件和现有组件。[两种时间尺度的路线判断](https://codingai-lec05.pages.dev/course/knowledge/architecture-choices-and-state.html)的“用初稿的数字作当时的决定”保留相同历史时点；在[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“接着研究 · 哪个实验最便宜，又能区分解释？”与[研究选择入口](experiments.html#research-choices)写一个最小实验及会改变排序的观察，不能把后期结果回填成当时已知事实。