标签：opt app 配置 hadoop yarn conf spark
spark关联hadoop的环境
[root@node1 conf]# pwd
/opt/app/spark-2.3.1/conf
[root@node1 conf]# vi spark-env.sh
HADOOP_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop
YARN_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop
yarn接管spark程序
[root@node1 conf]# cd /opt/app/hadoop-2.8.5/etc/hadoop/
[root@node1 hadoop]# vi yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
标签：opt,
app,
配置,
hadoop,
yarn,
conf,
spark
From： https://www.cnblogs.com/jsqup/p/16601584.html