软件工程第一次个人项目

PSP表格

3. 模块接口的设计与实现过程
   3.1 共5个类8个方法
   
   3.2 类，方法之间的关系
   主程序调用文件读写工具对文本路径中的文件进行读取；

对读取的文件类型进行判断，非txt文件将抛出异常；

对文件文本内容进行字数判断，少于300字抛出异常；

使用SimHash模块工具类分别对两个文本获取simHash值；

使用海明距离模块工具类计算两个文本的海明距离，在根据海明距离计算相似度；

对结果进行小数点后保留两位处理；

结果输出。

3.3模块具体实现
3.3.1读写 txt 文件的模块
类：TxtIOUtils

包含了两个静态方法：

1、readTxt：读取txt文件

2、writeTxt：写入txt文件

实现：都是调用 Java.io 包提供的接口

3.3.2 SimHash 模块（核心模块）
类：SimHashUtils

包含了两个静态方法：

1、getHash：传入String，计算出它的hash值，并以字符串形式输出，（使用了MD5获得hash值）
2、getSimHash：传入String，计算出它的simHash值，并以字符串形式输出，（需要调用 getHash 方法）

getSimHash 是核心算法，主要流程如下：
1、分词（使用了外部依赖 hankcs 包提供的接口）
List keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

1. 获取 hash 值
   String keywordHash = getHash(keyword);
   if (keywordHash.length() < 128) {
   // hash值可能少于128位，在低位以0补齐
   int dif = 128 - keywordHash.length();
   for (int j = 0; j < dif; j++) {
   keywordHash += "0";
   }
   }
   2.加权、合并
   for (int j = 0; j < v.length; j++) {
   // 对keywordHash的每一位与'1'进行比较
   if (keywordHash.charAt(j) == '1') {
   //权重分10级，由词频从高到低，取权重10~0
   v[j] += (10 - (i / (size / 10)));
   } else {
   v[j] -= (10 - (i / (size / 10)));
   }
   }
   3.降维
   String simHash = "";// 储存返回的simHash值
   for (int j = 0; j < v.length; j++) {
   // 从高位遍历到低位
   if (v[j] <= 0) {
   simHash += "0";
   } else {
   simHash += "1";
   }
   }
   3.3.3 海明距离模块
   类：HammingUtils

包含了两个静态方法：

1.getHammingDistance：输入两个 simHash 值，计算出它们的海明距离 distance

for (int i = 0; i < simHash1.length(); i++) {
// 每一位进行比较
if (simHash1.charAt(i) != simHash2.charAt(i)) {
distance++;
}

2.getSimilarity：输入两个 simHash 值，调用 getHammingDistance 方法得出海明距离 distance，在由 distance 计算出相似度。
return 0.01 * (100 - distance * 100 / 128);

4.接口部分的性能改进
4.1性能分析
Overview

方法的调用情况

从分析图可以看到：
调用次数最多的是com.hankcs.hanlp包提供的接口， 即分词、取关键词与计算词频花费了最多的时间。
所以在性能上基本没有什么需要改进的。

5.单元测试
5.1 读写 txt 文件的模块 的测试
基本思路：
1、测试正常读取
2、测试正常写入
3、测试错误读取
4、测试错误写入
public class TxtIOUtilsTest {
@Test
public void readTxtTest() {
// 路径存在，正常读取
String str = TxtIOUtils.readTxt("D:/test/orig.txt");
String[] strings = str.split(" ");
for (String string : strings) {
System.out.println(string);
}
}
@Test
public void writeTxtTest() {
// 路径存在，正常写入
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "D:/test/ans.txt");
}
}
@Test
public void readTxtFailTest() {
// 路径不存在，读取失败
String str = TxtIOUtils.readTxt("D:/test/none.txt");
}
@Test
public void writeTxtFailTest() {
// 路径错误，写入失败
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "User:/test/ans.txt");
}
}
}

测试结果：

代码覆盖率：

5.2 SimHash 模块 的测试
public class SimHashUtilsTest {
@Test
public void getHashTest(){
String[] strings = {"余华", "是", "一位", "真正", "的", "作家"};
for (String string : strings) {
String stringHash = SimHashUtils.getHash(string);
System.out.println(stringHash.length());
System.out.println(stringHash);
}
}
@Test
public void getSimHashTest(){
String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
System.out.println(SimHashUtils.getSimHash(str0));
System.out.println(SimHashUtils.getSimHash(str1));
}
}
测试结果：

代码覆盖率：

5.3、海明距离模块 的测试
部分代码：
public class HammingUtilsTest {
@Test
public void getHammingDistanceTest() {
String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
int distance = HammingUtils.getHammingDistance(SimHashUtils.getSimHash(str0), SimHashUtils.getSimHash(str1));
System.out.println("海明距离：" + distance);
System.out.println("相似度: " + (100 - distance * 100 / 128) + "%");
}
}
测试结果：

代码覆盖率：

5.4、主测试 MainTest
部分测试代码：
public class MainTest {
@Test
public void origAndAllTest(){
String[] str = new String[6];
str[0] = TxtIOUtils.readTxt("D:/test/orig.txt");
str[1] = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
str[2] = TxtIOUtils.readTxt("D:/test/orig_0.8_del.txt");
str[3] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_1.txt");
str[4] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_10.txt");
str[5] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_15.txt");
String ansFileName = "D:/test/ansAll.txt";
for(int i = 0; i <= 5; i++){
double ans = HammingUtils.getSimilarity(SimHashUtils.getSimHash(str[0]), SimHashUtils.getSimHash(str[i]));
TxtIOUtils.writeTxt(ans, ansFileName);
}
}
}
测试结果：

结果文件：


6、异常处理
6.1、设计与实现
当文本长度太短时，HanLp无法取得关键字，需要抛出异常。
try{
if(str.length() < 200) throw new ShortStringException("文本过短！");
}catch (ShortStringException e){
e.printStackTrace();
return null;
}
实现了一个处理这个异常的类：ShortStringException（继承了Exception）
public ShortStringException(String message) {
super(message);
}
6.2、测试
测试结果：