T27 · 先缩放点积，再归一化

前段手算采用未缩放点积，现在明确增加Transformer采用的scaled dot-product步骤。

状态 b0

沿用F三槽分数作局部演示，d_k=2；在softmax之前除以√2。

状态 b1

同一分数缩放后重新计算softmax，权重发生变化。这是分数尺度控制，不是事后缩放概率。

公式与算例详情

局部对照保持q/K/V不变。未缩放分数(1,0,1)，缩放后(1/√2,0,1/√2)；权重分别为 [0.4223187982515182, 0.15536240349696362, 0.4223187982515182] 与 [0.4011120926797859, 0.1977758146404282, 0.4011120926797859]。显示值约三位，计算使用全精度。随着key宽度变大，点积尺度可能增长；除以√d_k有助于控制进入softmax的分数尺度。此演示仍是三槽局部计算，不能贴成九位置完整模型实测。

继续学习

让整套 Transformer 共同完成一次预测 · LAB03：F · 跟着一个 token 穿过完整 encoder block

历史推导与原实验身份：R36 · R39 · R43。旧切分、代词、权重与测量保留原任务条件，不能替换成本轮九单位新句。

原始来源

• https://arxiv.org/pdf/1706.03762v1：。原版本及采用边界见正文