| 这个作业属于哪个课程 | 软件工程2024 |
|---|---|
| 这个作业要求在哪里 | 个人项目 |
| 这个作业的目标 | 设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。 |
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 15 | 10 |
| · Estimate | · 估计这个任务需要多少时间 | 30 | 45 |
| Development | 开发 | 25 | 50 |
| · Analysis | · 需求分析 (包括学习新技术) | 120 | 180 |
| · Design Spec | · 生成设计文档 | 5 | 5 |
| · Design Review | · 设计复审 | 10 | 15 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 10 |
| · Design | · 具体设计 | 30 | 45 |
| · Coding | · 具体编码 | 120 | 180 |
| · Code Review | · 代码复审 | 15 | 20 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 30 | 45 |
| Reporting | 报告 | 30 | 45 |
| · Test Repor | · 测试报告 | 30 | 25 |
| · Size Measurement | · 计算工作量 | 10 | 15 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | 20 |
| 合计 | 500 | 600 |
需求分析
题目：论文查重
描述如下：
设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。
原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：
从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
计算模块接口的设计与实现过程
simHash算法主要有五个过程：分词、Hash、加权、合并、降维。
txtRead方法：文本读取。将txt文本内容读取成字符串。
txtWrite方法：文本写入。将相似度写入到txt文本内。
测试结果
点击查看代码
package se.test;
import org.junit.Test;
import se.main.TXT_IO;
import static se.main.TXT_IO.*;
public class TXT_IO_test {
@Test
public void readTxtTest() {
// 路径存在，正常读取
String str = readTxt("txt/orig.txt");
String[] strings = str.split(" ");
for (String string : strings) {
System.out.println(string);
}
}
@Test
public void writeTxtTest() {
// 路径存在，正常写入
double[] elem = {0.1, 0.2, 0.3, 0.4, 0.5};
for (int i = 0; i < elem.length; i++) {
writeTxt(elem[i], "txt/ans.txt");
}
}
@Test
public void readTxtFailTest() {
// 路径不存在，读取失败
String str = readTxt("txt/none.txt");
}
@Test
public void writeTxtFailTest() {
// 路径错误，写入失败
double[] elem = {0.1, 0.2, 0.3, 0.4, 0.5};
for (int i = 0; i < elem.length; i++) {
writeTxt(elem[i], "User:/test/ans.txt");
}
}
}
此部分对作业所给的6个测试文本进行测试，其中原文为orig.txt，抄袭文本为所有txt文本。
点击查看代码
package se.test;
import org.testng.annotations.Test;
import se.main.Hamming;
import se.main.SimHash;
import se.main.TXT_IO;
public class A_main_test
{
@Test
public void origAndOrigTest(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig.txt");
String ansFileName = "txt/ansAndOrigTest.txt";
double ans = Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans, ansFileName);
}
@Test
public void origAndAddTest(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig_0.8_add.txt");
String ansFileName = "txt/ansAndAddTest.txt";
double ans =Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans, ansFileName);
}
@Test
public void origAndDelTest(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig_0.8_del.txt");
String ansFileName = "txt/ansAndDelTest.txt";
double ans = Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans, ansFileName);
}
@Test
public void origAndDis1Test(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig_0.8_dis_1.txt");
String ansFileName = "txt/ansAndDis1Test.txt";
double ans = Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans, ansFileName);
}
@Test
public void origAndDis10Test(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig_0.8_dis_10.txt");
String ansFileName = "txt/ansAndDis10Test.txt";
double ans = Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans, ansFileName);
}
@Test
public void origAndDis15Test(){
String str0 = TXT_IO.readTxt("txt/orig.txt");
String str1 = TXT_IO.readTxt("txt/orig_0.8_dis_15.txt");
String ansFileName = "txt/ansAndDis15Test.txt";
double ans = Hamming.getSimilarity(SimHash.getSimHash(str0), SimHash.getSimHash(str1));
System.out.println("查重率："+ans*100+"%");
TXT_IO.writeTxt(ans,ansFileName);
}
}
程序分析
不适合短文章的查重，还存在一定的误差