首页 > 其他分享 >使用Pinyin4j进行拼音分词

使用Pinyin4j进行拼音分词

时间:2023-02-01 14:36:36浏览次数:48  
标签:return String strs Pinyin4j pinyinName nameChar str 分词 拼音


使用maven引入相关的jar

<dependency>
<groupId>com.belerweb</groupId>
<artifactId>pinyin4j</artifactId>
<version>2.5.1</version>
</dependency>

创建Pinyin4jUtil

package com.os.core.util.solr;

import net.sourceforge.pinyin4j.PinyinHelper;
import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;
import net.sourceforge.pinyin4j.format.HanyuPinyinOutputFormat;
import net.sourceforge.pinyin4j.format.HanyuPinyinToneType;
import net.sourceforge.pinyin4j.format.exception.BadHanyuPinyinOutputFormatCombination;

import java.util.ArrayList;
import java.util.Hashtable;
import java.util.List;
import java.util.Map;

/**
* 汉语拼音工具类
* Created by PengSongHe on 2017/2/9 0009.
*/
public class Pinyin4jUtil {
public static void main(String[] args) {
String str = "测试";

String pinyin = Pinyin4jUtil.converterToSpell(str);
System.out.println(str + " pin yin :" + pinyin);

pinyin = Pinyin4jUtil.converterToFirstSpell(str);
System.out.println(str + " short pin yin :" + pinyin);
}

/**
* 汉字转换位汉语拼音首字母,英文字符不变,特殊字符丢失 支持多音字,生成方式如(长沙市长:cssc,zssz,zssc,cssz)
*
* @param chines 汉字
* @return 拼音
*/
public static String converterToFirstSpell(String chines) {
StringBuffer pinyinName = new StringBuffer();
char[] nameChar = chines.toCharArray();
HanyuPinyinOutputFormat defaultFormat = new HanyuPinyinOutputFormat();
defaultFormat.setCaseType(HanyuPinyinCaseType.LOWERCASE);
defaultFormat.setToneType(HanyuPinyinToneType.WITHOUT_TONE);
for (int i = 0; i < nameChar.length; i++) {
if (nameChar[i] > 128) {
try {
// 取得当前汉字的所有全拼
String[] strs = PinyinHelper.toHanyuPinyinStringArray(
nameChar[i], defaultFormat);
if (strs != null) {
for (int j = 0; j < strs.length; j++) {
// 取首字母
pinyinName.append(strs[j].charAt(0));
if (j != strs.length - 1) {
pinyinName.append(",");
}
}
}
// else {
// pinyinName.append(nameChar[i]);
// }
} catch (BadHanyuPinyinOutputFormatCombination e) {
e.printStackTrace();
}
} else {
pinyinName.append(nameChar[i]);
}
pinyinName.append(" ");
}
// return pinyinName.toString();
return parseTheChineseByObject(discountTheChinese(pinyinName.toString()));
}

/**
* 汉字转换位汉语全拼,英文字符不变,特殊字符丢失
* 支持多音字,生成方式如(重当参:zhongdangcen,zhongdangcan,chongdangcen
* ,chongdangshen,zhongdangshen,chongdangcan)
*
* @param chines 汉字
* @return 拼音
*/
public static String converterToSpell(String chines) {
StringBuffer pinyinName = new StringBuffer();
char[] nameChar = chines.toCharArray();
HanyuPinyinOutputFormat defaultFormat = new HanyuPinyinOutputFormat();
defaultFormat.setCaseType(HanyuPinyinCaseType.LOWERCASE);
defaultFormat.setToneType(HanyuPinyinToneType.WITHOUT_TONE);
for (int i = 0; i < nameChar.length; i++) {
if (nameChar[i] > 128) {
try {
// 取得当前汉字的所有全拼
String[] strs = PinyinHelper.toHanyuPinyinStringArray(
nameChar[i], defaultFormat);
if (strs != null) {
for (int j = 0; j < strs.length; j++) {
pinyinName.append(strs[j]);
if (j != strs.length - 1) {
pinyinName.append(",");
}
}
}
} catch (BadHanyuPinyinOutputFormatCombination e) {
e.printStackTrace();
}
} else {
pinyinName.append(nameChar[i]);
}
pinyinName.append(" ");
}
// return pinyinName.toString();
return parseTheChineseByObject(discountTheChinese(pinyinName.toString()));
}

/**
* 去除多音字重复数据
*
* @param theStr
* @return
*/
private static List<Map<String, Integer>> discountTheChinese(String theStr) {
// 去除重复拼音后的拼音列表
List<Map<String, Integer>> mapList = new ArrayList<Map<String, Integer>>();
// 用于处理每个字的多音字,去掉重复
Map<String, Integer> onlyOne = null;
String[] firsts = theStr.split(" ");
// 读出每个汉字的拼音
for (String str : firsts) {
onlyOne = new Hashtable<String, Integer>();
String[] china = str.split(",");
// 多音字处理
for (String s : china) {
Integer count = onlyOne.get(s);
if (count == null) {
onlyOne.put(s, new Integer(1));
} else {
onlyOne.remove(s);
count++;
onlyOne.put(s, count);
}
}
mapList.add(onlyOne);
}
return mapList;
}

/**
* 解析并组合拼音,对象合并方案(推荐使用)
*
* @return
*/
private static String parseTheChineseByObject(
List<Map<String, Integer>> list) {
Map<String, Integer> first = null; // 用于统计每一次,集合组合数据
// 遍历每一组集合
for (int i = 0; i < list.size(); i++) {
// 每一组集合与上一次组合的Map
Map<String, Integer> temp = new Hashtable<String, Integer>();
// 第一次循环,first为空
if (first != null) {
// 取出上次组合与此次集合的字符,并保存
for (String s : first.keySet()) {
for (String s1 : list.get(i).keySet()) {
String str = s + s1;
temp.put(str, 1);
}
}
// 清理上一次组合数据
if (temp != null && temp.size() > 0) {
first.clear();
}
} else {
for (String s : list.get(i).keySet()) {
String str = s;
temp.put(str, 1);
}
}
// 保存组合数据以便下次循环使用
if (temp != null && temp.size() > 0) {
first = temp;
}
}
String returnStr = "";
if (first != null) {
// 遍历取出组合字符串
for (String str : first.keySet()) {
returnStr += (str + ",");
}
}
if (returnStr.length() > 0) {
returnStr = returnStr.substring(0, returnStr.length() - 1);
}
return returnStr;
}

}



标签:return,String,strs,Pinyin4j,pinyinName,nameChar,str,分词,拼音
From: https://blog.51cto.com/u_15950441/6031555

相关文章

  • 39-IK分词自定义扩展词库
    **1、安装nginx**由于html下面的所有东西都可以直接访问,所以我们可以在html下床架一个index.html(默认为首页),然后访问nginx,如下图然后我们在html下创建es文件夹,es文件夹......
  • 38-IK分词器的安装
    我们使用vagrant创建的虚拟机,默认没有给我们开启root权限,默认只允许ssh登录,为了后来操作方便、文件上床等,我们配置允许账号密码登录Vagrantssh进去系统之后vi/etc/ss......
  • IK 分词器支持特殊符号、标点符号分词
    从GitHub下载对应版本的IK分词器源码,修改CharacterUtil.identifyCharType方法,将特殊符号、标点符号当做中文进行处理即可。添加:elseif(......
  • docker部署elasticsearch + ik分词器
    Elasticsearch构建docker容器创建文件夹mkdir-pdocker/es/datamkdir-pdocker/es/plugins配置文件cd/docker/esecho"http.host:0.0.0.0">>elasticsearch......
  • elasticsearch实现基于拼音搜索
    1、背景一般情况下,有些搜索需求是需要根据拼音和中文来搜索的,那么在elasticsearch中是如何来实现基于拼音来搜索的呢?可以通过elasticsearch-analysis-pinyin分析器来实现。......
  • elasticsearch实现基于拼音搜索
    目录1、背景2、安装拼音分词器3、拼音分词器提供的功能4、简单测试一下拼音分词器4.1dsl4.2运行结果5、es中分词器的组成6、自定义一个分词器实现拼音和中文的搜索1、创......
  • python 汉字转拼音 实例
    python汉字转拼音首先是安装第三方库:$pipinstallpinyin使用的话:>>>importpinyin>>>printpinyin.get('你好')nǐhǎo>>>printpinyin.get('你好',format="strip......
  • python实现海量分词
    其中,pyhlseg安装和使用参考​​​https://toscode.gitee.com/ryan70/pyhlseg#https://gitee.com/ryan70/segEvalTool​​settings.pyhlseg_table_name='柘荣地名地址_hlseg'......
  • Elasticsearch 使用中文分词
    本文演示了如何使用IKAnalysis插件来实现在Elasticsearch中的中文分词功能。使用中文分词在“SpringBoot应用企业级博客系统”课程中(​​http://coding.imooc.com/clas......
  • elasticsearch 安装 install 中文 分词器 Analysis 插件 plugin
    目录概述github上开源中文分词器仓库在elasticsearch上安装插件概述在github上查找开源的中文分词器插件仓库在elasticsearch上安装插件github上开源中文分词器仓......