在汉语中，词通常认为是一个或一个以上的文字构成的有意义的句子的最小单位。在英文中根据空格就可以直接分词。中文分词比英文难很多，可以采用基于词典分词，基于语法分词，基于统计分词。
常用的分词工具是jieba，又叫结巴，当将一个一个词分开时，读起来就像结巴一样，十分形象。jieba分词结合了基于规则和基于统计两类方法。具有三种分词模式：
（1）精确模式：将句子进行最精确的切开，适合文本分析，不存在冗余。
（2）全模式：尽可能全面划分所有可以成词的词语，速度非常快，但不可避免存在很多冗余。
（3）搜索引擎模式：在精确模式基础上对长词再次划分，提高召回率，适合用于搜索引擎分词。
除了jieba外，还有分词工具，比如snowNLP，PkuSeg，THULAC，HanLP等。其中，snowNLP除了分词外还有一个亮点是可以快速判断一句话的情感倾向，因为语料库是电商评论数据，所以对电商评论准确率较高。
标签：NLP,jieba,--,基于,模式,电商,分词,冗余 From： https://blog.csdn.net/weixin_53389235/article/details/139328632