我的GitCode链接 |

• • 我的GitCode链接 |
• 论文查重
  • PSP表格
  • 论文查询程序设计
    • SequenceMatcher基本使用
      • 获取匹配度
      • 找出匹配的块
      • 查找差异
    • Differ类
  • 用户输入的异常处理
  • 使用cprofile进行性能分析
  • 单元测试
  • 代码覆盖率

论文查重

PSP表格

论文查询程序设计

首先是编程语言的选择。由于python在数据分析领域已经很成熟，并且数据分析的率也很高，所以综合考虑后，python是最佳选择。
经过查询一些博客，发现python的difflib库非常适合论文查重，所以本博客站在巨人的肩膀上再进行开发。
difflib中常用两个类：SequenceMatcher 和 Differ，它们都可以用来比较两个序列(如字符串、列表、元组等)之间的差异，并生成相应的结果，十分方便。
difflib 库中的 SequenceMatcher 类是 Python 的一个非常有用的工具，用于比较两个序列之间的相似度，找出它们之间最长的连续匹配的子序列。它可以用于比较任何类型的序列（如字符串、列表或元组），非常适合于文本比较和差异分析等场景。以下是 SequenceMatcher 的一些基本使用方法和介绍：

SequenceMatcher基本使用

首先，你需要从 difflib 模块导入 SequenceMatcher 类：

from difflib import SequenceMatcher

然后，你可以创建一个 SequenceMatcher 对象，通过传入两个序列来初始化：

matcher = SequenceMatcher(None, "文本1", "文本2")

在创建 SequenceMatcher 对象时，第一个参数是一个可调用对象，用于指定如何判断两个元素相等。通常，如果你只是想简单地比较序列中的元素，可以将其设置为 None，这样比较就会使用默认的相等判断。

获取匹配度

SequenceMatcher 提供了 ratio() 方法来计算两个序列之间的相似度（返回值是一个在 0 到 1 之间的浮点数，1 表示完全匹配）：

similarity = matcher.ratio()
print(similarity)

找出匹配的块

你可以使用 get_matching_blocks() 方法来获取序列之间匹配的块。这个方法返回一个列表，列表中的每个元素都是一个具有三个元素的元组 (a, b, n)，表示序列 a 中从索引 a 开始、序列 b 中从索引 b 开始、长度为 n 的子序列是匹配的。

matching_blocks = matcher.get_matching_blocks()
for block in matching_blocks:
    print(block)

查找差异

difflib.SequenceMatcher 还提供了 get_opcodes() 方法，返回一个操作码列表，描述如何从第一个序列变换到第二个序列。这个方法非常有用于实现差异比较工具，可以显示两个序列之间的差异。

opcodes = matcher.get_opcodes()
for tag, i1, i2, j1, j2 in opcodes:
    print(f"{tag}: a[{i1}:{i2}] b[{j1}:{j2}]")

这里的 tag 表示操作类型（如 'replace'、'delete'、'insert' 或 'equal'），i1:i2 表示第一个序列中受影响的范围，而 j1:j2 表示第二个序列中受影响的范围。
通过使用 SequenceMatcher，你可以非常灵活和高效地进行序列比较和差异分析。它是文本处理、数据清洗等场景中非常实用的工具。

Differ类

Differ类可以用来生成两个序列之间的差异报告，由于本程序只需要查询两篇论文的相似度，并不需要具体的分析，所以此处不展开。

用户输入的异常处理

在本次开发中，出现错误的主要原因是用户在输入可执行程序时，出现参数不正确，论文的格式不正确，或者路径不正确。这些异常都需要在程序中进行处理，以提高程序的完整性和可靠性。
异常处理要用到sys库和os库，主要代码如下：

import sys
import os
#文件格式和文件路径的异常处理
def check_file(file_path, expected_extension):
    # 检查文件格式
    if not file_path.endswith(expected_extension):
        print(f"错误：文件 '{file_path}' 不是期望的文件格式 '{expected_extension}'。")
        return False
    # 检查文件是否存在
    if not os.path.exists(file_path):
        print(f"错误：文件路径不存在 '{file_path}'。")
        return False
    return True

# 获取命令行参数
arguments = sys.argv

# 检查参数数量是否正确
if len(arguments) != 4:
    print("Usage: python main.py [原文文件] [抄袭版论文的文件] [答案文件]")
    sys.exit(1)
# 检查文件
if not(check_file(arguments[1], '.txt') and
        check_file(arguments[2], '.txt') and
        check_file(arguments[3], '.txt')):
    sys.exit(2)

以下是对异常处理的结果：

使用cprofile进行性能分析

由上面两图的对比可以看出，在程序的执行中，异常处理的函数调用是占最多的，尤其是对文件路径是否存在的处理，要大量调用'get' of 'str' objects方法，所以如果想让程序执行得更快，可以将异常处理进行简化，下图是简化后的结果(将文件路径是否存在部分的异常处理去掉)：

我们可以看出，程序的函数调用次数打打减少了，而且执行时间也从0.397s下降到0.001s。所以最终还是要看功能和性能之间的取舍的。

单元测试

代码如下：(由于异常单元部分在上面已经测试完毕，所以只测试 calculate_similarity单元)

由上可知测试结果无异常

代码覆盖率

由上可知，代码覆盖率完整，没有bug。