从机器翻译到 Transformer

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

49页课堂主线

一句译文里的决定

语言分析怎样参与翻译

从单位到向量

沿句子更新状态

完整地生成一句译文

需要时回头读取

重新组织完整 Transformer

从任务数据到预训练

让图像提供缺少的颜色

让同一计算少搬数据

回到研究选择

完整资源推导(可选)

本页说明

学习材料

任务只要人名片段时,什么已经够用?

T04 · 任务只要人名片段时,什么已经够用?

已经理解角色,不代表必须识别真实身份。命名实体识别有明确输出schema,它从实际文字中找片段及类别。

状态 b0

输出只含PER人名、ORG机构名、LOC地点名;原句暂不附抽取答案。

状态 b1

我、他是代词,不圈PER;昨天不属于当前schema,普通名词书不是书名。

状态 b2

先给我=张明、他=李华,再替换代词位置;身份来自新设定。

状态 b3

明确给定姓名后,圈出张明、李华的完整文字边界并输出PER类别。程序字符区间约定保存在本页说明。

状态 b4

片段和类别作为可用输出;比较规则、词典、固定标签模型或紧凑Transformer的选择条件。

状态 b5

临时名字收回,翻成I/him并不要求先知道真实姓名。

公式与算例详情

此状态限定PER、ORG、LOC三类。原句中的我/他不是写出来的人名,昨天不在当前标签集合中,因此不把它圈为日期;若另设包含DATE的schema,昨天可以成为时间表达抽取对象。类别和边界均由任务约定决定。

明确给定我=张明、他=李华后,句子为“张明昨天给了李华一本书。”。字符位置从0开始数,区间的右端不包含:张是第0个字符、明是第1个、昨是第2个,因此[0,2)取张、明,不取昨;李华对应[6,8)。实体识别可以输出这些文字片段和PER类别,但没有自动推导给予者关系,也不能从书这个普通名词推出具体书名。

若任务只要求实体片段和类别,抽取结果已可用。规则、词典、固定标签小模型或紧凑Transformer各有条件:考虑类别是否变化、可用标注、维护、延迟及具体错误。现代GLiNER/GLiNER2原始材料在对应主题继续展开,不据个别案例推断全行业趋势,更不声称小模型普遍更可靠。

继续学习

同一句话怎样成为分析对象与模型输入 · LAB01:A · 邻居变多,bank 的表示会怎样变?

历史推导与原实验身份:S03。旧切分、代词、权重与测量保留原任务条件,不能替换成本轮九单位新句。