首页 > 其他分享 >推荐一种批量判断文件是否存在的快速办法

推荐一种批量判断文件是否存在的快速办法

时间:2024-07-18 22:08:30浏览次数:9  
标签:文件 存在 判断 批量 是否 耗时 stopwatch

在日常开发中,我们经常需要和文件打交道,特别是桌面开发,有时候就会需要加载大批量的文件,而且可能还会存在部分文件缺失的情况,那么如何才能快速的判断文件是否存在呢?如果处理不当,且文件数量比较多的时候,可能会造成卡顿等情况,进而影响程序的使用体验。今天就以一个简单的小例子,简述两种不同的判断文件是否存在的方式以及效率比较。

 

涉及知识点

 

在本示例中,涉及的知识点如下:

  1. 单个文件是否存在判断,通常采用File.Exists(file)来判断文件是否存在,存在返回true,不存在返回false。
  2. 获取目录下的文件,通常才是Directory.GetFiles(dir)来获取目录下的文件,返回目录下的文件列表。
  3. 计算程序执行耗时,通常采用Stopwatch进行计算,可以计算程序执行的耗时,单位可以是毫秒,秒,TimeSpan等。

 

前提

 

本示例的前提是,通常有多个文件(如:几十,几百,几千,几万)需要判断是否存在,且文件隶属于多个目录。

 

循环文件判断

 

C#默认提供的文件是否存在判断方式,一般用于单个文件,如果有多个文件,可以批量循环进行判断。步骤如下:

  1. 循环需要判断的文件列表
  2. 每个文件都判断一次文件是否存在。

 

代码如下所示:

/// <summary>
/// 逐一判断是否存在,并返回判断时长
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
private static long CheckFileExist01(List<string> files)
{
	Stopwatch stopwatch = new Stopwatch();
	stopwatch.Start();
	foreach (var file in files)
	{
		if (File.Exists(file))
		{

		}
	}
	stopwatch.Stop();
	return stopwatch.ElapsedMilliseconds;
}

上述判断方式,如果有一百个文件,则会进行一百次的文件是否存在判断,都是磁盘文件判断。

 

统一获取判断

 

统一获取,即获取文件夹目录下的文件,再进行内存中判断文件是否存在。步骤如下:

  1. 先获取文件列表所在的文件夹,
  2. 获取文件夹中的所有文件,存入字典中,
  3. 然后通过字典判断是否包含文件

 

代码如下所示:

/// <summary>
/// 统一获取文件夹目录中的文件,再进行判断
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
private static long CheckFileExist02(List<string> files)
{
	Stopwatch stopwatch = new Stopwatch();
	stopwatch.Start();
	Dictionary<string,string> dictionary = new Dictionary<string, string>();
	var folders = files.Select(item=>Path.GetDirectoryName(item)).Distinct().ToList();
	foreach (var folder in folders)
	{
		var tmpFiles=Directory.GetFiles(folder);
		foreach(var tmpFile in tmpFiles)
		{
			dictionary[tmpFile] = tmpFile;
		}
	}
	foreach (var file in files)
	{
		if (dictionary.TryGetValue(file, out string a))
		{

		}
	}
	stopwatch.Stop();
	return stopwatch.ElapsedMilliseconds;
}

 

性能比较

 

在本示例中,分别从不同维度进行比较,如:本地磁盘文件和共享目录中的文件,以及不同文件数量进行比较。分别如下:

 

1. 本地文件

 

本地文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。

其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于本地文件,结论如下:

  1. 对于需要判断的文件数量较少时,循环单个文件和统一获取再判断,性能上并无太大差异。
  2. 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取再内存判断,则并无太大波动。
  3. 受操作系统影响,性能耗时可能会存在波动。

 

2. 共享目录文件

 

共享文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。

其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于共享目录文件,结论如下:

  1. 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取再内存判断,则并无太大波动。
  2. 受操作系统或网络影响,性能耗时可能会存在波动。

 

结论

 

通过对本地文件和共享目录下文件,以及不同数量的文件进行文件是否存在校验时的耗时比较分析,结论如下:

如果需要判断的文件数量比较多,且分散存储的目录虽然不唯一,却相对较少,建议采用第二种(统一获取)方式进行校验。

以上就是【推荐一种批量判断文件是否存在的快速办法】的全部内容,希望能够一起学习,共同进步。

标签:文件,存在,判断,批量,是否,耗时,stopwatch
From: https://www.cnblogs.com/hsiang/p/18308524

相关文章

  • 如何恢复电脑上删除的文件?快速恢复被删除文件的技巧【5个实用方法】
    如何恢复电脑上删除的文件?电脑误删文件的情况很经常发生,删除文件后第一时间可以按下组合键Ctrl+Z撤销,这样能挽回99%以上的文件。当然,如果已经彻底删除,那么可以了解下本文整理的方法找回。(一)恢复电脑删除的文件主要有以下方法使用回收站恢复:大部分文件删除后都会暂存到点电脑......
  • 电脑怎么压缩文件?分享5个压缩软件【常见压缩方法】
    电脑怎么压缩文件?压缩文件是一种常见的操作,压缩文件可以减少文件的体积,便于存储和传输。本文介绍几种常见的压缩文件方法和电脑压缩工具。方法一:使用金舟压缩宝金舟压缩宝是一款功能全面,支持视频、GIF、图片、音频、文档压缩的国产软件,支持对PDF、PPT、Word、Excel进行压缩......
  • webpack 打包后复制文件
    写在前面项目中使用一些特定依赖的时候,会定义全局暴露的变量,不希望webpack将其压缩混淆,期望在打包后的成果物中保留原样。copy-webpack-plugin首先想到使用webpack插件copy-webpack-plugin,可以直接复制原始资源到输出目录中(非最优解!)安装依赖npminstallcopy-webpack-pl......
  • Apache Tomcat文件包含漏洞复现(详细教程)
    1.漏洞原理 Tomcat服务器是一个免费的开放源代码的Web应用服务器,其安装后会默认开启ajp连接器,方便与其他web服务器通过ajp协议进行交互。属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP程序的首选。Tomcat和IIS等Web服务器一......
  • vim 文件中出现 ^H
      0Problem  在服务器上跑keras实验,然后用tee指令把实验结果保存在文本文件中。文本文件在本机linux下用vim打开文件时会出现^M,^H。用sublime打开也会出现奇怪的字符。 1Reason   linux下的换行符是\n,windows是\r\n,所以windows下的文件在linux下打开的话,\r......
  • Go踩坑:interface{}判断nil
    问题背景在实习的一次真实程序开发中,我编写了一个函数,其处理一个接口类型(interface{})的参数,根据其类型返回一个字符串。在传入的参数为nil时,我希望通过判断,返回空字符串。看看我的大致代码:funcmain(){ varp*int64 fmt.Println(defaultValueFn(p))//p未赋值,我希望返回......
  • .NET|--杂类|--json文件未释放, 就开始反序列化, 报错Newtonsoft.Json Unexpected cha
    前言一个看起来很莫名其妙的错误,json文件我打开看了下,格式也都正确,但是在vs中调试的时候,监视--查看--JSON可视化工具查看json字符串的话,会提示"字符串未设置为JSON格式","监视--查看--文本可视化工具",发现json格式确实看不出来任何问题.报错#报......
  • .NET|--杂类|--将Shp文件转为GeoJson-通过GDAL
    前言真实需求是将Shp转为pbf文件,不过我现在已经实现了,将GeoJson格式数据转换为pbf文件,所以需要实现将Shp文件转换为GeoJson格式即可.1.下载GDAL的程序集下载地址→https://www.gisinternals.com/development.php下载完成,解压zip文件,可以看到这些dll文件(路......
  • 常用的7款加密软件排行榜|办公文件加密(2024干货收藏)
    李明:“王丽,你知道吗?最近我们部门的一些项目资料差点被泄露出去,真是让人担心。”王丽:“是啊,数据安全问题真的不容忽视。我听说现在有很多加密软件可以帮到我们,你有了解过吗?”李明:“确实,我研究了一下,发现有几款加密软件特别适合我们办公使用。不如我们一起来整理一个排行榜,分......
  • 为什么使用 Pool 重命名时我的文件数量会减少?
    我想并行重命名文件,这里我选择使用Pool来做到这一点。defrename_files(folder,prefix,n):files=os.listdir(folder)n=4tasks=[(os.path.join(folder,file),os.path.join(folder,......