首页 > 其他分享 >调整字典

调整字典

时间:2024-04-02 17:33:05浏览次数:15  
标签:jieba word After Before 词频 print 字典 调整

使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。

使用 get_FREQ(word) 用来统计当前词的词频。

使用 suggest_freq(segment, tune=True) 可调节单个词语的词频,使其能(或不能)被分出来。

注意:自动计算的词频在使用 HMM 新词发现功能时可能无效。

# test frequency tune
testlist = [
('今天天气不错', ('今天', '天气')),
('如果放到post中将出错。', ('中', '将')),
('我们中出了一个叛徒', ('中', '出')),
]
 
for sent, seg in testlist:
    print('/'.join(jieba.cut(sent, HMM=False)))
    word = ''.join(seg)
    print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))
    print('/'.join(jieba.cut(sent, HMM=False)))
    print("-"*40)

 

今天天气/不错
今天天气 Before: 3, After: 0
今天/天气/不错

如果/放到/post/中将/出错/
中将 Before: 763, After: 494
如果/放到/post/中/将/出错/。

我们/中/出/了/一个/叛徒
中出 Before: 3, After: 3
我们/中/出/了/一个/叛徒
 

  

标签:jieba,word,After,Before,词频,print,字典,调整
From: https://www.cnblogs.com/wajava/p/18111128

相关文章

  • 数据容器之字典
    数据容器-字典字典的定义,同样使用{},不过存储的元素是一个个的键值对,如下:使用{}存储元素,一个元素是一个键值对每一个键值对包含Key和Value(用冒号分隔)键值对之间使用逗号分隔Key和Value可以是任意类型的数据(key不可为字典)Key不可重复,重复会对原有数据覆盖字......
  • 列表+字典内置方法
    字符串查找​ .find('字符',起始查找位,结束查找位)默认从左往右找,默认值找一次,从右向左找可以用rfind,找到返回索引位置,找不到输出-1.index('字符',起始查找位,结束查找位)默认从左往右找,默认值找一次,从右向左找可以用rindex,找到返回索引位置,找不到则报错.count('字符')默认......
  • 字典树
    有时候我们要维护一个字符串集合,然后支持插入、删除、查询某个字符串出现次数和查询某个字符串作为前缀的出现次数。显然的,暴力肯定T飞。hash:我来!(非常好数据,使我的hashWA)所以我们需要字典树。字典树有三大两大优点:速度快无失误(hash有一定概率会冲突)支持多模式串......
  • 【python】字典(Dictionary)与集合(Set)
    字典是一种键值对的数据结构,而集合是一种无序、元素不重复的数据结构。目录前言正文一、字典(dict)    1、字典的定义    注意:        2、字典的查询    2.1语法:字典名['键名']    2.2语法:字典名.get('键名')   ......
  • Redis开源协议调整,我们怎么办?
    本文分享自华为云社区《Redis开源协议调整,我们怎么办?》,作者:华为云PaaS服务小智。2024年3月20日,Redis官方宣布,从Redis7.4版本开始,Redis将获得源可用许可证( RSALv2 )和服务器端公共许可证( SSPLv1 )的双重许可,时间点恰逢刚刚完成最新一轮融资,宣布的时机耐人寻味。 ......
  • 字典树基础(Java实现)
    字典树也叫Trie,是一种树形结构,其中每个节点可以存储一些变量表示该字符串出现的数量。每条边表示一个字符,如节点9存储一个变量cnt,说明存在三个字符串为“cbc” 例题:前缀判定importjava.math.BigInteger;importjava.util.*;publicclassMain{staticclass......
  • 排列的字典序问题(Java)
    问题描述:n个元素{1,2,…,n}有n!个不同的排列。将这n!个排列按字典序排列,并编号为0,1,…,n!-1.每个排列的编号为其字典序值。例如,当n=3时,6个不同排列的字典序值如下:字典序值排列   0    1    2    3    4    5       ......
  • 字典案例
    #案例1:#假设,已知小明、小红、小亮三人的语文、数学、英语三科成绩,将姓名、学科、成绩做对应,并计算谁的总分最高  #案例2:#假设,已知小明、小红、小亮三人的语文、数学、英语三科成绩,将姓名、学科、成绩做对应,并计算谁的总分最高  ......
  • python基础(四)----列表、字典练习题
    好友管理系统请设计一个好友管理系统,每个功能都对应一个序号,用户可根据提示“请输入您的选项”选择序号执行相应的操作,包括:(1)添加好友:用户根据提示“请输入要添加的好友:”输入要添加好友的姓名,添加后会提示“好友添加成功”。(2)删除好友:用户根据提示“请输入删除好友姓名:”输入要删......
  • Python列表、字典、元组练习题
    一、将下列姓名长度小于2字符的删除,将写法不同但名字一样的名字合并,并按首字母大写形式输出。names=[‘Bob’,‘JOHN’,‘alice’,‘bob’,‘ALICE’,‘J’,‘Bob’]答案:names=['Bob','JOHN','alice','bob','ALICE','J','Bob']ans={name.title()for......