R56 · 能访问钥匙事实,是否真的用对了?
缓存能保留合法计算,却不能保证原模型答对。回到钥匙任务,用应当改变答案的一对材料检查远处事实有没有被采用。
状态 b0
原钥匙事实、干扰和末尾问题同时可见。先确认任务的正确答案来自哪条早期记录。
情境图帮助读懂文本任务,没有把它作为待测语言模型的视觉输入。
状态 b1
配对材料只改早期盒子颜色,后缀不变而正确答案改变。只看相同后缀的确定模型无法把两份都答对。
状态 b2
把事实位置、间隔与干扰作为分组条件,观察需要分别报告哪些结果。当前展示的是评价设计。
公式与算例详情
让远处事实成为唯一有用的差别
用一个受控任务测试远处信息:开头记录“钥匙放在赭色盒子里”,中间加入电话、浇花等干扰,最后问钥匙位置。配对样本只把早期地点换成灰色盒子,保持末尾近邻完全相同。若一个只看末尾的模型仍能高分,就要检查标签比例、模板泄漏或别的捷径。
系统允许输入T个token,说明接口或实现接受这个长度;模型在距离d的任务上准确读取早期事实,需要额外实验。应交叉改变距离、相关信息位置、干扰强度与任务类型,报告分组结果而非只报平均值。图像只帮助人理解任务结构,没有把它当作语言模型视觉输入或真实模型实验。这是一项待执行的事实使用设计,不是图中已测出的模型成绩。
原课页采用记录:M35 窗口与有效利用。页码均按PDF物理页计。
继续学习
若模型能接收长输入,怎样证明采用了远处事实?从钥匙成对样本设计固定末尾近邻,只换早期地点,再读缓存与有效上下文的“移动证据,然后诚实地界定能力检查”。CLS 03“7 · 可容纳的长度,不等于有效上下文”解释区别;LAB 03“研究入口 · 把证据移远,预测还能依赖它吗?”用于列出距离、位置、干扰和捷径检查。不要把缓存等价性或图示当成这项能力成绩。