本质:启动一个JVM Process进程(一个进程里有多个线程),执行任务Task Local模式可以限制模拟Spark集群环境的线程数量,即Local[N]或Local[*] 其中N代表可以使用N个线程,每个线程拥有一个cpu core,如果不指定N,则默认是1个线程(该线程有一个core)。通常Cpu有几个core,就指定几个线程,最大化利用计算能力。 如果是Local[*],则代表按照Cpu最多的cores设置线程数 Master:Local进程本身 Worker:Local进程本身 Driver:Local进程本身 Executor:不存在,没有独立的Executor角色,由Local进程,也就是Driver内的 线程提供计算能力 Driver其实也算一种特殊的Executor,只不过大多数时候,我们将它当作纯Worker对待,这样便于区分
Local模式只能运行一个Spark程序,如果执行多个Spark程序,那就是多个相互独立的Local进程在执行 另外今天搭建好了spark环境运行截图如下
标签:2024.1,core,19,Driver,日报,线程,进程,Spark,Local From: https://www.cnblogs.com/Arkiya/p/17973952