软件工程-论文查重系统

论文查重系统

GitHub仓库地址

设计与实现

流程图

结构

主要函数

分词-提取关键字

    public static List<String> getString(String data,boolean useSmart) {
        List<String> result=new ArrayList();
        try {
            //创建分词对象 true则按照最大长度划分，false则划分出所有可以划分的词
            Analyzer anal = new IKAnalyzer(useSmart);
            StringReader reader = new StringReader(data);
            //记录分词数据
            TokenStream ts = anal.tokenStream("", reader);
            CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
            //遍历分词数据
            ts.reset();
            while (ts.incrementToken()) {
                result.add(term.toString());
            }
            ts.close();
            reader.close();
        } catch (Exception e) {
            e.printStackTrace();
        }finally {
            return result;
        }
    }

获取simHash

public static String getSimHash(String date){
    //用数组表示特征向量,取128位,从0位开始表示从高位到低位
    int[] arr = new int[128];
    List<String> Ikstring = ikF.getString(date, false);
    int size = Ikstring.size();
    int i=0;
    for (String s : Ikstring) {
        //获取hash值
        String hash = getHash(s);
        if(hash.length()<128){
            int num=128-hash.length();
            for(int j=0;j<num;j++){
                hash+="0";
            }
        }
        //加权合并
        for(int j=0;j<arr.length;j++){
            if(hash.charAt(j)=='1'){
                //权重分10级，由词频从高到低，取权重10~0
                arr[j] += (10 - (i / (size / 10)));
            }else{
                arr[j] -= (10 - (i / (size / 10)));
            }
        }
        i++;
    }
    //降维
    StringBuilder sb=new StringBuilder();
    for(int j=0;j<arr.length;j++){
        if(arr[j]<=0){
            sb.append("0");
        }else{
            sb.append("1");
        }
    }
    return sb.toString();
}

运行结果

单元测试

异常处理

文件类型不正确则抛出异常

性能分析