翼度科技»论坛 编程开发 .net 查看内容

推荐一种批量判断文件是否存在的快速办法

5

主题

5

帖子

15

积分

新手上路

Rank: 1

积分
15
在日常开发中,我们经常需要和文件打交道,特别是桌面开发,有时候就会需要加载大批量的文件,而且可能还会存在部分文件缺失的情况,那么如何才能快速的判断文件是否存在呢?如果处理不当,且文件数量比较多的时候,可能会造成卡顿等情况,进而影响程序的使用体验。今天就以一个简单的小例子,简述两种不同的判断文件是否存在的方式以及效率比较。

 
涉及知识点

 
在本示例中,涉及的知识点如下:

  • 单个文件是否存在判断,通常采用File.Exists(file)来判断文件是否存在,存在返回true,不存在返回false。
  • 获取目录下的文件,通常才是Directory.GetFiles(dir)来获取目录下的文件,返回目录下的文件列表。
  • 计算程序执行耗时,通常采用Stopwatch进行计算,可以计算程序执行的耗时,单位可以是毫秒,秒,TimeSpan等。
 
前提

 
本示例的前提是,通常有多个文件(如:几十,几百,几千,几万)需要判断是否存在,且文件隶属于多个目录。
 
循环文件判断

 
C#默认提供的文件是否存在判断方式,一般用于单个文件,如果有多个文件,可以批量循环进行判断。步骤如下:

  • 循环需要判断的文件列表
  • 每个文件都判断一次文件是否存在。
 
代码如下所示:
  1. /// <summary>
  2. /// 逐一判断是否存在,并返回判断时长
  3. /// </summary>
  4. /// <param name="files"></param>
  5. /// <returns></returns>
  6. private static long CheckFileExist01(List<string> files)
  7. {
  8.         Stopwatch stopwatch = new Stopwatch();
  9.         stopwatch.Start();
  10.         foreach (var file in files)
  11.         {
  12.                 if (File.Exists(file))
  13.                 {
  14.                 }
  15.         }
  16.         stopwatch.Stop();
  17.         return stopwatch.ElapsedMilliseconds;
  18. }
复制代码
上述判断方式,如果有一百个文件,则会进行一百次的文件是否存在判断,都是磁盘文件判断。
 
统一获取判断

 
统一获取,即获取文件夹目录下的文件,再进行内存中判断文件是否存在。步骤如下:

  • 先获取文件列表所在的文件夹,
  • 获取文件夹中的所有文件,存入字典中,
  • 然后通过字典判断是否包含文件
 
代码如下所示:
  1. /// <summary>
  2. /// 统一获取文件夹目录中的文件,再进行判断
  3. /// </summary>
  4. /// <param name="files"></param>
  5. /// <returns></returns>
  6. private static long CheckFileExist02(List<string> files)
  7. {
  8.         Stopwatch stopwatch = new Stopwatch();
  9.         stopwatch.Start();
  10.         Dictionary<string,string> dictionary = new Dictionary<string, string>();
  11.         var folders = files.Select(item=>Path.GetDirectoryName(item)).Distinct().ToList();
  12.         foreach (var folder in folders)
  13.         {
  14.                 var tmpFiles=Directory.GetFiles(folder);
  15.                 foreach(var tmpFile in tmpFiles)
  16.                 {
  17.                         dictionary[tmpFile] = tmpFile;
  18.                 }
  19.         }
  20.         foreach (var file in files)
  21.         {
  22.                 if (dictionary.TryGetValue(file, out string a))
  23.                 {
  24.                 }
  25.         }
  26.         stopwatch.Stop();
  27.         return stopwatch.ElapsedMilliseconds;
  28. }
复制代码
 
性能比较

 
在本示例中,分别从不同维度进行比较,如:本地磁盘文件和共享目录中的文件,以及不同文件数量进行比较。分别如下:
 
1. 本地文件

 
本地文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。
其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于本地文件,结论如下:

  • 对于需要判断的文件数量较少时,循环单个文件和统一获取再判断,性能上并无太大差异。
  • 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取再内存判断,则并无太大波动。
  • 受操作系统影响,性能耗时可能会存在波动。
 
2. 共享目录文件

 
共享文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。
其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于共享目录文件,结论如下:

  • 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取再内存判断,则并无太大波动。
  • 受操作系统或网络影响,性能耗时可能会存在波动。
 
结论

 
通过对本地文件和共享目录下文件,以及不同数量的文件进行文件是否存在校验时的耗时比较分析,结论如下:
如果需要判断的文件数量比较多,且分散存储的目录虽然不唯一,却相对较少,建议采用第二种(统一获取)方式进行校验。
以上就是【推荐一种批量判断文件是否存在的快速办法】的全部内容,希望能够一起学习,共同进步。

来源:https://www.cnblogs.com/hsiang/p/18308524
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具