首页 > 编程语言 >中文关键字检索分析-导出到csv或者excel-多文件或文件夹-使用python和asyncio和pandas的dataframe

中文关键字检索分析-导出到csv或者excel-多文件或文件夹-使用python和asyncio和pandas的dataframe

时间:2024-09-09 23:36:58浏览次数:7  
标签:tmp filout python excel dataframe result file print append

  • 1.02版本

    • 把原来的tab一个个拼接成文件输出,改成pandas的dataframe
    • 使用asyncio库来使用协程,但是测试下来速度好像是差不多的。可能速度太快了,没能很好的测出来差异。
  • 原来的最初的代码是java版本的,现在用python重写一遍

    • java版本使用completableFuture来异步IO,主要是文件输出的时候,但是好像文件的顺序并没有发生变化。
    • java版本没有使用什么特殊的类和库,结果打印到system.out,可以是控制台,或者是文件
  • 代码的功能

    • 打印出关键字
    • 打印出检索到的文件名,行号,正则表达式命中的结果,多个结果就多行。同一行命中了几个正则表达式。当前行的原来的内容。
    • 可以同时检索多个正则表达式
    • 对检索的文件路径和文件名也做匹配和排除
    • 同一个文件的结果需要在一起,同一行的多次命中也需要在一起
    • 检索结果通过tab或者excel表格,每一列展示同一个正则表达式的命中结果
    • 原来的java版本,可以设置参数,如果命中,把下一行也返回回来。
  • 代码和本地代码的区别

    • 路径修改成【您的检索路径】和【您的输出文件】
  • 有什么用

    • 同时检索多个关键字,能够把命中结果和行原来的内容一起输出到表格中。然后可以进行筛选和分析。这是现有IDE工具没有的定制化的功能
    • 检索结果是对代码或者文件这些内容的直观分析,不需要再次打开文件查看和分析。
  • 实际使用的案例

    • 考试背题库,题解中有官网文档的链接,全部拷贝出来,通过检索【https:/这个url的正则表达式】的关键字,一次性抽取到同一列,然后贴在旁边。这样就可以快速看题解中找到的官网链接了。而且题解很多链接写错的地方,也能发现,调整后把个别错误的也修改好了。
    • 而且这个脚本的功能是实际工作经验中,一点点的发现的痛点,然后把工具的功能降到最基础和简单。最一开始是用vba,后来用java,现在再用python。不过确实上述的提起官网链接,这个通过某些IDE的搜索功能也能实现。有一些最新版的IDE也有了更多的功能。但我这个是每天承受巨大压力,实战中得出的功能,和自由定制化。功能又很接地。
  • 不能解决的问题

    • 如果搜索到的代码,是一个赋值,变量名称不一样。那么需要再次检索,或者把变量名称作为关键字再次加入进来来检索。所以需要代码比较规范,或者变量名称统一。
    • 检索中文的时候,没有tokenizer的分词器功能的情况下,那么只是所有一个字,需要把这个字的前一个字和后一个字都检索出来,才能找到完整的结果,比如【知识】和【识别】,那么命中结果会不美观和直接。和AI的word词汇的处理没有什么关系。一开始的初衷是处理代码的。
  • 没有上传到github和gitee的原因

    • 基本的文本处理工具,很实用,就一段代码
    • 比较仓促,容易找不到,可以上传到github,然后把输入的文件,和输出的两种文件也上传,但是这个工具就在于手搓和轻便,有需要的时候,随时加功能
  • 效果图

    • 荷塘月色,就一篇文章的分析结果
    • image
    • image
  • 源代码

    • 草草上传,未做很多修改,用的时候再改。
# %任务,直接转变成 使用dataframe来操作
# % 然后,。。啥,就完成上面这个就行 完成file操作的async
# 打印检索结果的开头和title,条件,限制条件
# 然后提供一个api,自己curl测试一下。
# 然后用docker打包一下。把文件内容传送过去,然后返回处理的结果。
# 然后做一个页面,把内容填写进去,然后点击按钮,另外一边显示出来。
# 做一个备忘录,或者白板功能
# 做一个小程序界面
# 做一个搜索功能,把关键字写进去,然后能够查询出结果
# java也重新写一写


# 3大功能
# 搜索文件夹和文件名称
# (vscode是comman + P)
# 妙:可以选择多个文件夹,添加子文件夹排除条件

# 搜索文件内容
# (vscode command + shift + F)
# 妙: 可以检索多个正则表达式,然后先匹配上的作为变量向下复制,同一行,或者同文件,
#   但是因为没有结束匹配。所以开头和结尾的地方会出现数据不匹配。如果能添加一个结束匹配的正则表达式。那么默认是文件内作为变量

# 提取表格中的列的内容,然后命中分类
# 妙:同一行抽取多个特征,一个正则表达式提取多个token
# 妙:多个正则表达式的命中,同时分类
# 同一行多个命中,分成多行。

# 配置常量
import datetime
from datetime import date
from operator import concat
import os
import asyncio
from asyncio import Lock
import pandas as pd
import numpy as np
# from traceback import print_list
# import tornado
# from threading import Thread
import re
# from typing import Concatenate

def getChildFiles(basePath):
    return [f for f in os.listdir(basePath) if os.path.isfile(basePath + f)]

def getChildFolders(basePath):
    return [f for f in os.listdir(basePath) if os.path.isdir(basePath + f)]

isFirstExcelOutput = True
# mac的设置里面一旦访问过了,就会有允许和不允许,下面的是可移除卷宗,然后网络卷宗现在vscode是没有勾选上
# async def使用方法
# https://superfastpython.com/asyncio-async-def/
# https://docs.python.org/3/library/index.html
# 正则表达式 中文例子 https://www.jb51.net/article/177521.htm
# https://blog.csdn.net/weixin_40907382/article/details/79654372
# 官网 正则表达式 https://docs.python.org/3/library/re.html
async def writeToFile(filout, finalStrArr, lock: Lock, oneFileData: pd.DataFrame):
	async with lock:
		# for finalStr in finalStrArr: 
		# filout.wirte(oneFileData.)
		
		# note 输出的是,有的是多个空格的字符
		# oneFileData.to_string(filout)
		# 
		# filout.write("\n\n")
		# filout.write("".join(finalStrArr))
		# 不包含表头,表头已经打印出来了。
		oneFileData.to_csv(filout, sep='\t', index=False, header=None)
		# 不写到excel文件了。因为excel文件不知道什么位置是文件末尾。没办法append。
		# 如果要append,需要用到pd.ExcelWriter mode=append 然后sheet名称,开始的行数是maxrow
		file_path = '您的输出文件/output/test01.xlsx'
		global isFirstExcelOutput

		oneFileData = oneFileData.fillna(" ")
		if isFirstExcelOutput:
			oneFileData.index.name = "No"
			oneFileData.columns.name = "No2" # 这个设置了好像就显示不出来了。
			oneFileData.index = oneFileData.index + 1
			# oneFileData.rename(columns={"result1":"result1"+"\nresult1_1"}, inplace=True)
			multHd = []
			multHd.append((t_hitNos,""))
			resultNoCnt = 1
			for kw in searchKwsArr:
				multHd.append((t_result_tmp+str(resultNoCnt),kw))
				resultNoCnt+=1
			multHd.append((t_hitNos,""))
			multHd.append((t_hitKws,""))
			multHd.append((t_lineContent,""))
			oneFileData.columns = pd.MultiIndex.from_tuples(multHd,names=["titles","keywords"])
			# oneFileData.columns = pd.MultiIndex.from_tuples([("lineNo",""),("result1",""),("result2", "result1_1"),("result3",""),("result4",""),("result5",""),("hitNos",""),("hitKws",""),("lineContent","")])
			# oneFileData.columns[2] = ("result1",r"(在|到).+里")
			oneFileData.to_excel(file_path)

			isFirstExcelOutput = False
		else:
			with pd.ExcelWriter(file_path, mode='a', if_sheet_exists='overlay') as writer:
				oneFileData.index = oneFileData.index + 1 - 1 + writer.sheets['Sheet1'].max_row 
				oneFileData.to_excel(writer, sheet_name='Sheet1', startrow=writer.sheets['Sheet1'].max_row, header=None)
			# with pd.ExcelWriter(file_path) as writer:
			# 	oneFileData.to_excel(writer, sheet_name='Sheet1', startrow=writer.sheets['Sheet1'].max_row, header=None)

			# oneFileData.to_excel(writer, sheet_name='Sheet1', startrow=writer.sheets['Sheet1'].max_row, index=False, header=None)
		# oneFileData.to_excel("您的输出文件output/test01.xlsx")

	# print("fileout" + str(datetime.datetime.now()))
# def writeToFile(filout, finalStr):
# 	filout.write(finalStr)
def multiMatch(content, kwsArr):
	for kw in kwsArr:
		if re.match(kw, content):
			return True
	return False

excFileType = [
	r"^\._.*",
	r".*\.xls.*"
]
incFileType = [
	r"^[^\.]+\.[^\.]+"
]
searchKwsArr = [
	r"(在|到)[^,。]+里",
	r"忽然[^,。]+",
	r"[^,。]+一般",
	r"像[^,。]+",
    r"是[^,。]+"
]
t_lineNo="lineNo"
t_result_tmp="result"
t_hitNos="hitNos"
t_hitKws="hitKws"
t_lineContent="lineContent"

async def searchInFile(f, basePath, filout, lock: Lock):

	print("filename: " + f)
	# if not re.match(r"^\._.*", f) and not re.match(r".*\.xls.*", f):
	if not multiMatch(f,excFileType):
	# if not re.match(r"^\.", f):
		col_title=[t_lineNo]
		resultNoCnt = 1
		for kw in searchKwsArr:
			col_title.append(t_result_tmp+str(resultNoCnt))
			resultNoCnt+=1
		# col_title.extend([t_hitNos,t_hitKws,t_lineContent])
		col_title.append(t_hitNos)
		col_title.append(t_hitKws)
		col_title.append(t_lineContent)
		with open(basePath + f, "r") as file:

			one_file_result = pd.DataFrame(columns=
				col_title)
			finalStrArr = []

			# ["lineNo","result1","result2","result3","result4","result5","hitNos","hitKws","lineContent"])
			# one_file_result = 
			# note 明明可以看到append,但是提示没有这个append,说是一种方法是降低版本,但是因为和很多其他裤捆绑,所以不建议
			# pip install pandas==1.3.4 
			# 大多数还是说用concat来代替
			# one_file_result = pd.concat([one_file_result,pd.DataFrame({"lineNo":[5],"result1":["tmp"],"result2":["tmp"],"result3":["tmp"],"result4":["tmp"]
			# ,"result5":["tmp"],"hitNos":["tmp"],"hitKws":["tmp"],"lineContent":["tmp"]})], ignore_index=True)

			# one_file_result.add(pd.DataFrame({"lineNo":5,"result1":"tmp","result2":"tmp","result3":"tmp","result4":"tmp","result5":"tmp"
			# 	,"hitNos":"tmp","hitKws":"tmp","lineContent":"tmp"}), ignore_index=True)

			# one_file_result = pd.append([one_file_result,pd.DataFrame({"lineNo":5,"result1":"tmp","result2":"tmp","result3":"tmp","result4":"tmp","result5":"tmp"
			# 	,"hitNos":"tmp","hitKws":"tmp","lineContent":"tmp"})], ignore_index=True)
			# print(one_file_result)
			linNo = 0
			lines = file.readlines()
			for line in lines:
				linNo += 1
				ptStrs = list()
				resultPD_key = pd.DataFrame(columns=col_title)
				ptStrTmp = str(linNo) + "\t"
				resultPD_tmp = pd.DataFrame(columns=col_title)
				resultPD_tmp.loc[0,t_lineNo]=linNo

				maxFnd = 0
				hitKws = []
				hitNos = []
				kwsSeq = 0
				# for pp in [r"https://hXXXXXXXXXXXXXXXXXXl/[0-9]+\.html"]:
				# for pp in [r"(在|到).+里", r"忽然[^,。]+", r"[^,。]+一般", r"像[^,。]+", r"是[^,。]+"]:
				for pp in searchKwsArr:
					kwsSeq = kwsSeq + 1
				# for pp in [r".风.", r".香", r"一.", r".{2,4}(地)" 	, r"荷.", r".塘", r"月.", r".色"]:
					lastFnd = "\t"
					findCnt = 0
					for m in re.finditer(
						pp
						, line
						, flags=re.IGNORECASE):
						findCnt += 1
						if findCnt > maxFnd:
							maxFnd = findCnt
							ptStrs.append(ptStrTmp)
							resultPD_key = pd.concat([resultPD_key,resultPD_tmp], ignore_index=True)

						ptStrs[findCnt-1] = ptStrs[findCnt-1] + pp + ": " + m.group() + "\t"
						# resultPD_key.loc[findCnt-1,t_result_tmp+str(kwsSeq)] =	pp + ": " + m.group()
						resultPD_key.loc[findCnt-1,t_result_tmp+str(kwsSeq)] =	m.group()
						lastFnd = pp + ": " + m.group() + "\t"
						hitNos.append(str(kwsSeq))
						hitKws.append(pp)
					if False:	
						ptStrTmp = ptStrTmp + lastFnd
					else:
						ptStrTmp = ptStrTmp + "\t"

					# pd这里单个key搜索就不用填充了
					notfnd = 0
					for fnd in ptStrs:
						notfnd += 1
						if notfnd > findCnt:
							ptStrs[notfnd-1] = ptStrs[notfnd-1] + "\t" 
				
				# 统计一行的命中结果
				fndNo = 0
				for fnd in ptStrs:
					fndNo += 1
					ptStrs[fndNo-1] = ptStrs[fndNo-1] + ";"+";".join(hitNos) +";"+ "\t"	 +";"+ ";".join(hitKws) +";"+ "\t"		
				# for i in range(0,maxFnd-1):

				# 这里是单行搜索,单行的多个结果拼接到一起
				if maxFnd > 0:
					finalStr = ""
					for st in (ptStrs): finalStr = finalStr + st + line # + "\n"
					finalStrArr.append(finalStr)
					resultPD_key[t_hitNos]=";".join(hitNos)
					resultPD_key[t_hitKws]="【"+"】;【".join(hitKws)+"】"
					resultPD_key[t_lineContent]=line.replace("\n","").replace("\r","")
					one_file_result = pd.concat([one_file_result,resultPD_key], ignore_index=True)
			
					# one_file_result = one_file_result.fillna({t_result_tmp+str(1):"b"})
					# writeToFile(filout, finalStr)	
			# print(one_file_result)
			# one_file_result.columns[2].
			await asyncio.create_task(writeToFile(filout, finalStrArr, lock, one_file_result))

async def searchInFolder(basePath, filout, lock: Lock):
	tasklist = []
	for fo in getChildFolders(basePath):
		asyncio.create_task(searchInFolder(basePath + fo + "/", filout, lock))
		
	files = getChildFiles(basePath)
	for f in files:
		tasklist.append(asyncio.create_task(searchInFile(f, basePath, filout, lock)))
		# if f 
	await asyncio.wait(tasklist)

async def main():
	lock = Lock()
	starttime =datetime.datetime.now()
	basePaths = ['/Volumes/SDCARD_01/tmp/']
	filout = open("/Volumes/SDCARD_01/output/"+"output.txt","w")  
	
	filout.write("excFileType:" + "\n")
	filout.write("\t" + "\n\t".join(excFileType) + "\n")
	filout.write("incFileType:" + "\n")
	filout.write("\t" + "\n\t".join(incFileType) + "\n")
	filout.write("searchKwsArr:" + "\n")
	filout.write("\t" + "\n\t".join(searchKwsArr) + "\n")
	filout.write("basePaths:" + "\n")
	filout.write("\t" + "\n\t".join(basePaths) + "\n")
	titleStr = "lineNo\t"
	titleStrDes = "\t"
	resultNo = 1
	for kw in searchKwsArr:
		titleStr = titleStr + "result" + str(resultNo) + "\t"
		titleStrDes = titleStrDes + kw + "\t"
		resultNo = resultNo + 1
	titleStr = titleStr + "hitNos" + "\t" + "hitKws" + "\t" + "lineContent" + "\t"
	filout.write(titleStr + "\n")
	filout.write(titleStrDes + "\n")
	
	task_fol_list = []
	for basePath in basePaths:
		task_fol_list.append(asyncio.create_task(searchInFolder(basePath, filout, lock)))
	await asyncio.wait(task_fol_list)
	# await coro

	print('search complete!')
	print("start" + str(starttime))
	print("end  " + str(datetime.datetime.now()))
# 2024-03-04 21:53:57.998985
# 2024-03-04 21:53:58.041339
# 2024-03-04 22:10:00.298639
# 2024-03-04 22:10:00.443002
# async
# 2024-03-04 21:55:17.430653
# 2024-03-04 21:55:17.490983
# lock
# 2024-03-04 22:07:11.735860
# 2024-03-04 22:07:11.850801
# 2024-03-04 22:11:36.540289
# 2024-03-04 22:11:36.595845
# create task
# start2024-03-04 22:40:18.462565
# end  2024-03-04 22:40:18.653983

if __name__ == "__main__":
    # loop = asyncio.get_event_loop()
    # result = loop.run_until_complete(main())
	asyncio.run(main())
	# print(date.ctime())
	
def foldersSample():

	basePath = '您的检索文件夹的路径/'
	print("当前目录下的文件夹名称为:", getChildFolders(basePath))
	# print("当前目录下的文件夹名称为:", getChildFolders(basePath))
	files = getChildFiles(basePath)
	print("当前目录下的文件名称为:", getChildFiles(basePath))
	# TODO 觉得可以修改一下快捷键 ctrl + K
	# TODO 读取文件,按照行读取,哪个好
	# TODO 文件名可以先用正则表达式筛选一下。如果是多次匹配来试一下比如a有两个,测试的时候print一下
# foldersSample()

def sample():
	pattern = re.compile("(d)[o|a](g)")
	matc = pattern.search("abcdogabcdagabc")     # Match at index 0
	matc = pattern.search("abcdogabcdagabc",3)     # Match at index 0
	matcs = re.findall(pattern, "abcdogabcdagabc", flags=0)
	print(re.findall(re.compile("c(d([o|a])g)"), "abcdogabcdagabc", flags=0))
	iter = re.finditer(re.compile("c(d([o|a])g)"), "abcdogabcdagabc", flags=0)
	for m in re.finditer(
		"c(d([o|a])g)"
		, "abcdogabcdagabc"
		, flags=re.IGNORECASE):
		
		print(m.group())
		for g in m.groups():
			print(g)
		print(m.span())
	# 应该用findall就能满足了。就是没有all的index,
	print(re.match(r'l','liuyan1').group())
	print(re.match(r'y','liuyan1'))
	print(re.search(r'y','liuyan1').groups())
	pattern.search("dog", 1)  # No match; search doesn't include the "d"
# sample()

# 协程使用方法
# asyncio walkthrough
# https://realpython.com/async-io-python/
# Coroutines and Tasks官网文档
# https://docs.python.org/3/library/asyncio-task.html
# async def main2():
#     print('hello')
#     await asyncio.sleep(1)
#     print('world')


# loop = asyncio.get_event_loop()
# result = loop.run_until_complete(main2())




    

标签:tmp,filout,python,excel,dataframe,result,file,print,append
From: https://www.cnblogs.com/oennn/p/18405550

相关文章

  • python编译安装亲测
    yumgroupinstall"DevelopmentTools"yuminstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-devellibffi-devellscd/opt/lsmkdirpythoncdpython/  ls  wgethttps://www.python.org/ftp/python/3......
  • python的迭代器和生成器?
    python中的迭代器和生成器都是用来处理数据序列的。迭代器迭代器是一个可以记住遍历位置的对象,使用iter()创建一个迭代器,使用next()方法依次返回迭代器中的每一个元素,如果数组里面的数据已经遍历完了,就会抛出StopIteration异常list=[2,9,34,56,78,3,6,8,3,67]创建迭代器:it=it......
  • python和C++中的运算符的一一对应
    在Python和C++中,许多运算符是相似的,因为它们都遵循许多基础的编程概念,比如算术运算、逻辑运算、位运算等。然而,也存在一些差异,尤其是在一些高级特性上,比如Python的动态类型和C++的静态类型。以下是一些常见的运算符在两个语言中的对应情况:算术运算符PythonC++描述++加法......
  • [开题报告]flask框架基于Vue的电商管理系统(python+程序+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着互联网技术的飞速发展,电子商务已成为全球经济的重要组成部分,极大地改变了人们的消费习惯和商业运营模式。电商平台的兴起,不仅为消费者......
  • [开题报告]flask框架基于Web安全的大学数学错题收集系统(python+程序+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景在高等教育体系中,数学作为一门基础且重要的学科,其学习成效直接影响学生的专业素养与后续课程的掌握程度。然而,大学生在学习数学过程中普遍......
  • [开题报告]flask框架基于的郑州市网上生鲜商城设计与实现(python+程序+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着互联网技术的飞速发展,电子商务已成为人们日常生活中不可或缺的一部分,尤其在食品消费领域,消费者对于便捷、高效、品质保证的生鲜购买渠......
  • [开题报告]flask框架基于架构的信息发布系统管理和运维的实现(python+程序+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景在信息爆炸的时代,信息的高效发布与传播已成为企业获取市场竞争优势的关键因素之一。随着互联网的普及和技术的不断进步,信息发布系统作为连......
  • Python 操作 MySQL 数据库
    什么是MySQLdb?如何安装MySQLdb?数据库连接创建数据库表数据库插入操作数据库查询操作数据库更新操作删除操作执行事务错误处理Python标准数据库接口为PythonDB-API,PythonDB-API为开发人员提供了数据库应用编程接口。Python数据库接口支持非常多的数据库,你......
  • 全网最适合入门的面向对象编程教程:46 Python函数方法与接口-函数与事件驱动框架
    全网最适合入门的面向对象编程教程:46Python函数方法与接口-函数与事件驱动框架摘要:函数是Python中的一等公民,是一种可重用的代码块,用于封装特定的逻辑;事件驱动框架是一种编程模式,它将程序的控制流转移给外部事件,如用户输入、系统消息等,它事件驱动框架可以使用函数作为事......
  • Python-stdlib bisect
    官方文档:bisect---数组二分算法bisect_left(a,x,lo=0,hi=len(a),*,key=None)在a中找到x合适的插入点以维持有序。参数lo和hi可以被用于确定需要考虑的子集;默认情况下整个列表都会被使用。如果x已经在a里存在,那么插入点会在已存在元素之前(也就是左边)。如果a......