1.执行代码
spark在hadoop上以集群模式执行代码
bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--executor-memory 1G \
--total-executor-cores 2 \
/root/word_count_cluster.py
2.错误截图
错误原因:找不到spark目录
3.解决办法
在/etc/profile文件中配置spark环境变量,然后source /etc/profilez生效
4.结果验证
重新执行1.中的代码,执行成功截图如下:
输出结果在yarn上的日志文件中
标签:hdfs,执行,--,yarn,cluster,spark,main From: https://blog.csdn.net/qq_40678149/article/details/140274581