首页 > 其他分享 >文件查重

文件查重

时间:2022-12-25 12:11:47浏览次数:30  
标签:查重 文件 hashcodes fp fps os

硬盘上积累了太多的文件,主要是有很多图片重复了。

先来查重文件吧。

 

 1 df=pd.DataFrame()
 2 fps,hashcodes=[],[]
 3 for parent,dirs,files in os.walk(os.getcwd()):
 4      for file in files:
 5          fp=os.path.join(parent,file)
 6          with open(fp,'rb') as f:
 7              a=f.read()
 8              fps.append(fp)
 9              hashcodes.append(hash(a))
10 df=pd.DataFrame({'filepath':fps,'hashcode':hashcodes})

 

标签:查重,文件,hashcodes,fp,fps,os
From: https://www.cnblogs.com/juanxia/p/17003850.html

相关文章

  • 如何生成excel文件作为图像识别结果
    如何生成excel文件作为图像识别结果在进行大规模图像处理的时候,如果能够以表格的形式生成结果文件,将非常的直观。这个时候,选择excel作为结果输出文件,将是合适的。......
  • 如何存储 Git 大文件?
      本文主要讲解在Git仓库中如何管理大的二进制文件,详细介绍了什么是GitLFS,GitLFS是如何工作的,以及如何使用GitLFS。本文翻译自Atlassian官方介绍GitL......
  • Java第08次实验(流与文件)实验报告--网络2112-37号
    第1次实验0.字节流与二进制文件使用DataOutputStream与FileOutputStream将Student对象写入二进制文件students.data二进制文件与文本文件的区别。使用wxMEdit或Visua......
  • git 忽略文件与如何忽略已经提交的文件或文件夹
    git忽略文件与如何忽略已经提交的文件或文件夹 使用git提交代码的时候可能会遇到想要忽略的文件夹出现在提交列表中的情况1,目录中右键选择gitbashHere 然后输入t......
  • SAP UI5 加载本地并不存在的 PDF 文件的错误处理
    这个_onLoadListener函数什么时候注册的呢?iframe完成加载之后,就触发这个load事件注册的处理函数:PDFViewer.prototype.onAfterRendering=function(){ varf......
  • 如何使用 SAP OData 服务向 ABAP 服务器上传文件试读版
    本教程到目前为止开发的OData图书管理服务,可以在ABAP系统里对图书数据进行增删改查。本步骤我们继续介绍如何通过SAPOData服务,实现向ABAP系统上传文件的需求。我......
  • c_cpp:编译脚本regcc:编译当前目录的单文件源程序
    c_cpp:编译脚本regcc:编译当前目录的单文件源程序    一、说明 1、单文件的源程序:源程序是一个独立完整的文件。 2、regcc功能:2.1、在......
  • 四、文件IO函数
    相关函数:open头文件 :#include<sys/types.h>           #include<sys/stat.h>           #include<fcntl.h>函数原型:intopen(constch......
  • 文件和目录函数
    相关函数:stat头文件 :#include<sys/stat.h>           #include<unistd.h>函数原型:intstat(constchar*path,structstat*buf);函数说明:stat用......
  • [Python]os获取文件所在文件夹的绝对路径
    1.实验环境/opt/Taobao/Selenium/demo.py2.os#返回当前文件名称print(os.path.basename(__file__))#main.py#返回整体路径print(os.path.realpath(__file__......