共享表示,还需要怎样组合?
T09 · 共享表示,还需要怎样组合?
学到单词表示后,还需要选择怎样形成句子的表示。能共享参数不等于已经表达句中关系。
状态 b0
邻词目标和翻译loss都能更新输入E,Word2vec并非必经前置步骤。
状态 b1
我给他与他给我具有相同均值但角色相反,因此需要处理顺序和组合。
公式与算例详情
词向量既可由独立邻词预测任务学习,也可在翻译模型中随最终翻译损失更新。两条路径说明训练目标的选择,不表示两套模型已经在课堂被实际训练。
“我给他”和“他给我”的三词向量多重集相同,因此简单平均相同,但给予关系改变。这个反例针对不含顺序信息的简单平均,并不是说所有池化方法都无法处理语义。回到九单位主句,接下来用同一规则沿顺序组合当前向量和前一步状态。