R58.md · 可读全文
这里保留原文的中文、公式标记、代码和链接。可直接交给 Agent 读取，也可选取下方原文复制。此入口返回 HTML；原始 .md / .py 文件仍保留，完整候选包同时包含 UTF-8 原件。
# R58 · 机制、论文证据、改判条件，各给一条 论文证据会随任务与规模改变。把它和机制、资源约束放在一起，形成一项能被本地观察改变的投入排序，并据此提出具体迁移问题。 <span id="r58-b0"></span> ## 状态 b0 在给定任务与资源下，将理由分成机制、当时结果、本地改判观察。三类证据不能互相替代。 <span id="r58-b1"></span> ## 状态 b1 揭示条件性排序，并列保留旧路线的情形。把自己的选择与这些条件比较，而非只记“先做base”。 <span id="r58-b2"></span> ## 状态 b2 2015已有的视觉读取系统与拟更换语言骨干的方案并置。指出真正新增的改动，并为它给出预期与保留LSTM的条件。 图像描述已有旧方案。换图检查视觉使用，与比较Transformer/LSTM骨干优劣，是两项不同实验。 ## 公式与算例详情 ### 两个时间尺度 下周复现排序是受当前资源约束的选择：英德式任务、已有强基线、有限显存时先做base最小可信复现；若任务是英法最高质量、输入极长或稳定性不佳，排序可变。回答必须分别包含机制、历史证据和改判观察。连接路径短是结构机会，二次交互是成本，位置和mask保证信息含义与合法性；训练并行不取消生成依赖。 长期机会要接在已有基础上。2015 年 [Xu 等《Show, Attend and Tell》Figure 1](https://proceedings.mlr.press/v37/xuc15.pdf#page=1) 与 [§3.1（物理第3页）](https://proceedings.mlr.press/v37/xuc15.pdf#page=3) 已展示卷积位置特征、视觉 attention 与 LSTM 逐词字幕生成。当前图用本课 Q/K/V 记法概括条件读取接口，不是该论文结构或算子的逐项复现。2017 年待验证的新假设是：保留视觉条件读取，将循环语言骨干换成 Transformer，训练并行与语言位置之间的连接是否能在图像描述任务中带来质量／成本收益？这不是视觉 attention 第一次用于字幕。 [Transformer 2017 年6月 v1 §7（物理第10页）](https://arxiv.org/pdf/1706.03762v1#page=10) 明确计划扩展到非文本输入输出模态，并探索局部／受限 attention 以处理图像、音频、视频等大型输入输出。这是作者当时提出的研究计划，既非已验证的跨模态结果，也不是后来路线必然成功的证据。 ### 视觉条件与语言骨干要分别检验 先分清两层检查。固定合法语言前缀、换相关图像，观察依赖视觉事实的词预测与成对准确率，是检查视觉接口是否被使用，单独不能证明 Transformer 优于 LSTM。骨干选择需比较 LSTM＋视觉 attention 与 Transformer 候选：使用同一图文训练／验证划分、同一冻结视觉 encoder 为各图像提取的特征、词表／分词、解码评分与评测协议；给两者可比的调参预算，并报告实际参数量、固定训练时间下的字幕质量／事实准确率、训练吞吐与显存。可提出“相近质量下训练更快”等预期；若 Transformer 在相同预算内质量更差、训练不稳定，或吞吐优势不足以抵偿显存与调参成本，则保留已调好的 LSTM。此处均为设计，没有新实验结果。 已有图文数据与可复用组件时，视觉实验可以优先；缺乏这些条件且只有一周时，先做文本 base 复现也合理。一个可评审的提议应指出新改变、待测预期，以及什么观察会使自己保留旧基线。 ### 参考与采用 - [Attention Is All You Need · 2017-06 v1](https://arxiv.org/pdf/1706.03762v1)：在当时证据与资源条件下比较研究路线；细节与口径见本页说明。 复核位置：§3、Table 1/2 与 §7 Conclusion（物理P10） - [Show, Attend and Tell · ICML 2015](https://proceedings.mlr.press/v37/xuc15.pdf)：2015已有卷积位置特征＋视觉attention＋LSTM逐词描述；不把视觉读取说成2017才出现。 复核位置：Figure 1（物理P1）；§3.1（物理P3） 原课页采用记录：[M17 当时还可以怎样改](sources.html#M17)、[M23 为什么考虑去掉 recurrence](sources.html#M23)、[M30 原始实验支持什么](sources.html#M30)、[M36 其他序列路线](sources.html#M36)、[M37 研究判断回扣](sources.html#M37)。页码均按PDF物理页计。 ### 继续学习 若要提出跨模态研究计划，先用[2015 已有方案与 2017 待测假设](lecture.html#read-R58)分清视觉接口是否被使用和语言骨干谁更合适。[两种时间尺度的路线判断](https://codingai-lec05.pages.dev/course/knowledge/architecture-choices-and-state.html)及[LAB 02](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-02-bba1d024d8e64a589c290b09381de692?utm_content=bba1d024d8e64a589c290b09381de692&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“接着研究 · 哪个实验最便宜，又能区分解释？”用于约束短期投入；[视觉条件是否真正被使用](https://codingai-lec05.pages.dev/course/knowledge/visual-condition-use.html)、[CLS 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/CLS-03-719b25c7c5b64687998ba9c19d2f6776?utm_content=719b25c7c5b64687998ba9c19d2f6776&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)路径 B 与[LAB 03](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-05-841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/LAB-03-Transformer-9c5b3d45acdb438a8e7df1dc6cb97e40?utm_content=9c5b3d45acdb438a8e7df1dc6cb97e40&utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_term=get_notebook)“视觉接口 · 196 个 patch 如何影响下一词分布？”用于核对视觉条件。最后在[受控实验设计](experiments.html#r5-controlled)明确同一数据、冻结视觉编码器、可比调参预算与保留 LSTM 的条件。