先决定把哪些文字当作单位
T01 · 先决定把哪些文字当作单位
查词需要输入单位。中文没有用空格替我们全部分好，先做切分才知道之后标签、向量和状态各自附着在哪里。
状态 b0
暂不公布切分，让给了与一本书的处理成为可选择动作。
状态 b1
分别编号1至9，标点有自己的位置；拆开不妨碍后续重组短语。
公式与算例详情
本轮采用我／昨天／给／了／他／一／本／书／。九个单位，含句号。这样便于区分动词与助词、数词与量词及物体名词。这是一种教学分析粒度，不是唯一正确分词，也不代表旧checkpoint的tokenizer。
后面“一／本／书”会重新形成名词短语，翻译为a book。分析单位、短语和最终模型的子词token不是同一个概念；拆开分析并没有规定译文必须逐词对应。