开发环境

windows下开发，python版本：3.7

需要安装jieba、gensim等库

词句分析

使用jieba的库可以很好的对一个中文语句进行分词

对字符串的处理接口如下，先使用正则表达式过滤特殊符号，再用jieba分词

def filter_str(str):
    self_re = re.compile(u"[^0-9A-Za-z\u4e00-\u9fa5]")
    string = self_re.sub("", str)
    result = jieba.lcut(str)
    return result

相似度计算

查阅资料发现可以使用gensim库计算余弦相似度，实现方法如下

def check_main(origin, target):
    texts = [origin, target]
    dictionary = gensim.corpora.Dictionary(texts)
    corpus = [dictionary.doc2bow(text) for text in texts]
    similarity = gensim.similarities.Similarity('-Similarity-index', corpus,num_features=len(dictionary))
    test_corpus_1 = dictionary.doc2bow(origin)
    cosine_sim = similarity[test_corpus_1][1]
    return cosine_sim

文件读取

文件内容读取的函数实现如下，注意打开的文本编码形式，如果不是utf-8则会报错

def read_file(path):
    with open(path, encoding='utf-8') as fd:
        data = fd.read()
        info("get "+path+" data sucess")
     
    return data

异常处理

对于IO异常和参数异常进行捕获并处理

except IOError:
    print("IO operation error,plz check your file")
except ValueError:
    print("Error args")

性能测试

通过pycharm的插件可以进行性能测试，设置profile即可

代码覆盖率

使用coverage检测代码覆盖率

coverage run -m unittest ./unit_test.py
coverage html -d report

可以看到没有被覆盖的地方是异常处理部分的代码，正常流程的代码都有覆盖到，覆盖率为89%

单元测试

测试脚本如下

import unittest
from main import main

class MyTestCase(unittest.TestCase):
    def test_my(self):
        self.assertTrue(main() < 0.99)  # 预测运行结果

if __name__ == '__main__':
    unittest.main()

可以看到能成功进行测试，并且成功输出相似程度

PSP表格记录