本文将从分词的本质、中英文分词、分词的方法三个方面，带您一文搞懂Tokenization（分词）。
一、分词的本质
核心逻辑：将句子、段落、文章这种长文本，分解为以字词为单位的数据结构。
-
文本切分：分词是将连续的文本切分为独立的、有意义的词汇单元的过程。这些词汇单元可以是单词、词组或特定的符号，切分的目的是使文本更易于处理和解析。
-
语义理解的基础：分词是语义理解的基础步骤。计算机通过分词能够识别出文本中的基本语义单元，进而进行词性标注、句法分析、语义推理等更高级的处理。
-
数据结构化：分词将非结构化的文本数据转化为结构化的词汇序列，使得文本数据能够被计算机程序有效地处理和分析。
为什么要分词：
标签：词汇,语义,Tokenization,搞懂,文本,分词 From： https://blog.csdn.net/qq_39172059/article/details/136805348