昨天晚上装了sqoop准备将数据从pg库导入Hive库备用,写了个sqoop脚本,运行脚本本后从yarn ui上看任务状态一直 Accepted,卡了三四个小时,最后发现是 yarn-site.xml 配置问题,给的资源太少,无法运行任务。
在 yarn-site.xml 中添加下面的内容:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
昨天晚上就看到类似的解决方案,但是 yarn.nodemanager.resource.memory-mb 这个配置项只给了2g的内存。
昨天晚上搞到两点,一直想着这个问题,今天早上醒来就在手机上百度一下,想着试试,结果真解决了这个问题。