先保留什么,再向当前计算输出什么?
T13 · 先保留什么,再向当前计算输出什么?
长链训练提出怎样保留和改写的选择。LSTM把cell路径与供当前使用的hidden状态区分,门控制保留、写入及输出。
状态 b0
c沿时间承载可保留内容,h向当前计算提供表示,首次定义先于算术。
状态 b1
旧cell1、保留门.9、候选.5、写入门.1,结果先留问号。
状态 b2
两路贡献.9与.05相加得到.95。
状态 b3
给定输出门.8,hidden=.8tanh(.95)≈.591826,不将c和h说成同值。
公式与算例详情
LSTM的cell c沿时间承载可保留内容,hidden h提供当前可用表示。给定一个坐标的旧cell=1、保留门f=.9、候选内容g=.5、写入门i=.1,得到c=.9×1+.1×.5=.95;输出门o=.8时,h=.8tanh(.95)≈.591826。门值在课堂先给定,真实门由可学习计算产生。
原二维门值算例和直接路径.99²⁰≈.818、.8²⁰≈.011529的限定推导继续在recurrent-state-and-credit与历史S10完整保留:它们只说明特定给定系数路径,不保证总梯度或无限记忆。本轮默认只算一个cell合成值和相应hidden,不修改旧结果。
源句全部给定时也可从两个方向编码;目标生成的未来词尚未知,不能按同一理由让decoder读取未来答案。
继续学习
历史推导与原实验身份:S10。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。