统计HDFS中文件数量、大小、以及在某范围大小的文件数量

说明：统计HDFS文件数量大小，小于20M文件数量

1、HDFS 相关命令

# 统计文件大小
hdfs dfs -du -h / 

# 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径
hdfs dfs -count / 

#统计所有文件的信息，过滤文件夹, 只统计文件，因为使用-ls -R 之后,可以看到文件是”-“开头，文件夹是”d”开头
hdfs dfs -ls -R /path/data | grep ^- > /data.txt

可见，文件是”-“开头，文件夹是”d”开头：

2、取一些测试数据

使用：hdfs dfs -ls -R / |grep ^-

数据保存在 data.txt 文件中；

-rw-r--r--   3 root            supergroup          0 2018-08-31 10:36 /tmp/azkaban/mutiTest_3_1/_SUCCESS
-rw-r--r--   3 root            supergroup      70514 2018-08-31 10:36 /tmp/azkaban/mutiTest_3_1/part-00000-c-88980650a164-c000.snappy.parquet
-rw-r--r--   3 root            supergroup