1、问题
hdfs查询某些目录，报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded
2、解决
基本上是因为这些目录中有大量的文件
hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。
将hdfs客户端的heap大小调大,执行成功:
[root@hadoop1 ~]# HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /user/etl/job