首页 > 其他分享 >Hadoop的mapper和reducer的个数如何确定?reducer的个数依据是什么?

Hadoop的mapper和reducer的个数如何确定?reducer的个数依据是什么?

时间:2023-06-18 18:32:45浏览次数:35  
标签:mapper 文件 reducer 个数 split 大小 block size

参考答案:

map数量

影响map个数(split个数)的主要因素有:

文件的大小。当块(dfs.block.size)为128m时,如果输入文件为128m,会被划分为1个split;当块为256m,会被划分为2个split。

文件的个数。FileInputFormat按照文件分割split,并且只会分割大文件,即那些大小超过HDFS块的大小的文件。如果HDFS中dfs.block.size设置为128m,而输入的目录中文件有100个,则划分后的split个数至少为100个。

splitSize的大小。分片是按照splitszie的大小进行分割的,一个split的大小在没有设置的情况下,默认等于hdfs block的大小。

splitSize=max{minSize,min{maxSize,blockSize}}

map数量由处理的数据分成的block数量决定default_num = total_size / split_size

reduce数量

reduce的数量job.setNumReduceTasks(x); x为reduce的数量。不设置的话默认为1

标签:mapper,文件,reducer,个数,split,大小,block,size
From: https://blog.51cto.com/u_15553407/6509164

相关文章

  • .Net6 增加AutoMapper自动映射
    概述1、什么是AutoMapper简单来说,AutoMapper就是一个用C#语言开发的一个轻量的处理一个实体对象到另外一个实体对象映射关系的组件库官网地址:AutoMapper文档地址:AutoMapper—AutoMapperdocumentation 2、为什么要用AutoMapper层与层之间的......
  • Mapper代理开发
      1.------需要把两个文件的名字命名为同样com.itheima.mapper com/itheima/mapper 修改后需要修改映射文件的地址 2..-----------------------------设置文件namespace属性 3.------------------------------------根据sql语句返回值数据类型来设置方法数......
  • 统计出整形数值二进制位里面包含的1的个数
    /*printfexample*/#include<stdio.h>intcount_one(intn){intcount=0;while(n){n=n&(n-1); count++;}returncount;}intmain(){inta=-1;printf("%d",count_one(a));return0;} 结果: ......
  • Python几个数字计算最接近某个值的和(用于报销的)
    一、序场景:公司报销需要用打车发票,金额不能多于报销额度,自己搭配出最接近报销的金额二、实现思路读取全部打车能报销的金额,全部相加,留下小等于报销金额的组合,然后取最大值与组合三、实现代码实现代码importitertoolsimportpandasaspdimportnumpyas......
  • printf的返回值为int类型,即为当前打印字符的个数
    //printfRet.cpp:Definestheentrypointfortheconsoleapplication.//#include"stdafx.h"intmain(intargc,char*argv[]){ intret=0; inta=104;ret=printf("%d",a);//printf将返回3, printf("\n%d\n",ret);......
  • Jackson2ObjectMapperBuilderCustomizer
    //序列化时的命名策略——驼峰命名法builder.propertyNamingStrategy(PropertyNamingStrategy.LOWER_CAMEL_CASE);配置作用  ......
  • MyBatis-Plus的BaseMapper与IService
    mybatis-plus提供两种包含预定义增删改查操作的接口:com.baomidou.mybatisplus.core.mapper.BaseMappercom.baomidou.mybatisplus.extension.service.IService刚开始有点疑惑为什么要设计俩个接口用来增删改查BaseMapper和IService的方法有很多类似的功能,但是方法名不同对比......
  • 【JS基础】一个数据泄露的例子
    functionchange(obj){with(obj){color='red'}}varbox={size:'15*15'}change(box);console.log(color);//redwith代码块内部,每个变量首先会指向obj对象属性,所以color='red'可以等效于obj.color=red但是obj身上并没有color这个属性......
  • 挑战数据结构和算法——整数的二进制表示中1的个数
    题目来源“数据结构与算法面试题80道”。在此给出我的解法,如你有更好的解法,欢迎留言。问题分析:本题涉及到二进制的处理,在本题使用到&操作和>>操作。方法:intget_num(intn){intnum=0;if(n<0){num+=1;n=n*(-1);}while(n!=0){......
  • 92 面向对象 商品(多个属性)放入3个数组中
    对象packagecom.fqs.goods;publicclassGoods{privateintid;privateStringname;privatedoubleprice;privateintgeShu;publicGoods(){}publicGoods(intid,Stringname,doubleprice,intgeShu){this.id=......