首页 > 其他分享 >分区数量与reduce个数怎样才能不报错

分区数量与reduce个数怎样才能不报错

时间:2022-09-25 10:57:14浏览次数:58  
标签:自定义 分区 reduce 报错 怎样才能 数量

reduce数量只能是1个或者比分区的数量多,否则数据写入会出现问题报错。
因为系统有自带的方法,也可以自定义,如果自定义就跑自定义的方法,是1就用系统默认的。
大于的时候会产生多个空的输出文件。(浪费内存和空间)
分区的数量应该连续。

标签:自定义,分区,reduce,报错,怎样才能,数量
From: https://www.cnblogs.com/jiankaitianmen/p/16727396.html

相关文章