R28.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取,也可选取下方原文复制。此入口返回 HTML;原始 .md / .py 文件仍保留,完整候选包同时包含 UTF-8 原件。
# R28 · 这条错译,让你先改哪一处? 已经有了能运行、能训练并带搜索的翻译器。现在回到开场同一事件,用一处人称错译选择下一项实验;随后还会在学完读取机制后重新检验这次判断。 <span id="r28-b0"></span> ## 状态 b0 同一源句的him错译旁标出四个可改部位。先提出解释及可观察预期,单个错词还不足以定位原因。 <span id="r28-b1"></span> ## 状态 b1 摘要与笔记让访问方式可比较:一次汇总与按当前需要重读。类比帮助选择待试接口,没有替机制评价作答。 <span id="r28-b2"></span> ## 状态 b2 两组论文内对照出现。先分别读各表的改动与结果,再检查共同条件;不要把独立系统拼成统一排行榜。 ## 公式与算例详情 ### 共同观察与待检验选择 源句“我昨天给了她一本书。”,构造错译“I gave him a book yesterday . EOS”。这不是历史论文样本或真实运行输出。四个候选解释都与观察相容:源序与优化、状态容量/保留、读取接口、搜索。摘要与可重读笔记只类比访问方式,不证明机制优劣。研究选择需要伴随可观察预期。学完完整读取和任务训练后,在R37回到同一个对象,给出控制与改判条件。 ### 2014 年秋:已公开工作怎样改变下一次实验 固定向量 encoder–decoder 是能工作的起点。Cho 等的 RNN Encoder–Decoder 用于短语评分,不能不加说明便当作同一个完整句子翻译实验。此处回看 Sutskever 与 Bahdanau 已公开的早期论文;本页时点设为相关工作已公开后的2014年秋;教学顺序不是实际研究者知悉对方工作的顺序。 | 论文内比较 | 系统与设置 | 全测试集 BLEU | | --- | --- | ---: | | Sutskever v1 Table 1 | 单模型,beam=12,源句正序 | 26.17 | | 同上 | 单模型,beam=12,源句反转 | 30.59 | | Bahdanau v1 Table 1 | RNNenc-50 | 17.82 | | 同上 | RNNsearch-50 | 26.75 | 两组是独立比较,不能把它们拼成四个系统在统一条件下的排名。Sutskever 的深 LSTM 与更大词表、不同训练及搜索设置不等于 Bahdanau 的基线。后者的 RNNsearch 使用双向编码器,每向 1000 单元,而 RNNenc 的编码器为 1000 单元,因而也不只是开关 attention 的消融。 Sutskever Figure 3 报告少于 35 词的句子没有性能下降,最长句仅轻微下降。这反驳“固定向量在长句上必然崩溃”的叙述,但不否定另一个设置下的瓶颈动机。Bahdanau Figure 2 在其设置中显示长度相关差别;图形趋势不应编造成未报告的精确分组数值。 本课的研究判断是优先验证动态读取,同时保留源句反转的强固定向量基线。动态读取改变了信息接口,值得实验;并非旧接口已经被证明不可能。如果原系统尚未调好,先做反转和搜索诊断也是有依据的选择。 下一次比较尽量固定数据、分词、词表、训练预算、参数量、搜索与评测;单独控制编码方向。记录总 BLEU,也按长度、未知词与关系遗漏分组。若认真优化旧基线后动态读取优势消失,降低固定表示瓶颈解释的权重;若匹配条件后长距离关系和遗漏仍稳定改善,则增加这条路线的投入。以上是待实施实验,不是本课已经得到的训练结果。 原版:[Sutskever v1](https://arxiv.org/pdf/1409.3215v1),[Bahdanau v1](https://arxiv.org/pdf/1409.0473v1)。 ### 参考与采用 - [Sequence to Sequence Learning · v1](https://arxiv.org/pdf/1409.3215v1):在当时证据与资源条件下比较研究路线;细节与口径见本页说明。 复核位置:指定原版本的结构、设置与结果表 - [Learning to Align and Translate · v1](https://arxiv.org/pdf/1409.0473v1):在当时证据与资源条件下比较研究路线;细节与口径见本页说明。 复核位置:指定原版本的结构、设置与结果表 原课页采用记录:[M17 当时还可以怎样改](sources.html#M17)、[M37 研究判断回扣](sources.html#M37)。页码均按PDF物理页计。 ### 继续学习 [本页自学核对](lecture.html#read-R28):保留“我昨天给了她一本书”的错译,先列两种相容解释及预期现象;读完机制后在R37回同一对象改写判断。 若想把初始判断落实成可推翻的下一项实验,可进入[《2014:先拥有一个可工作的翻译器,再决定改哪里》](https://codingai-lec05.pages.dev/course/knowledge/translation-choices-2014.html);动手时打开[LAB02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)的“D/E · 固定源序,比较两种读取接口”:核对两组历史系统条件与本课合成任务的参数差异,再写源序×读取接口的控制与改判条件。 实施范围见[实验路线D](experiments.html#experiment-D)。 若要增加对照,按[已有受控设计](experiments.html#r5-controlled)固定相关条件;设计本身不代表新训练已完成。