大数据培训在hive任务中number of reducers的探讨

发布时间:2020年02月17日作者:atguigu浏览次数:844

关于在hive任务中number of reducers的探讨

1.在默认情况下(set mapreduce.job.reduces=-1),实际运行计算过程中reducer的数量会由所读取文件的大小来决定。文件默认大小是256M,即每256M对应一个reduce。比如当文件大小为1G时,会启用4个reducer处理数据;当文件大小为400M时,会启用2个reducer来处理。

2.在进行分区或者sort by 操作时,需要设置mapreduce.job.reduces的数量,此时实际启用的reducer的个数等于设置值。

3.1 在进行分桶操作的情况下,当 set mapreduce.job.reduces=-1或0时,此时实际启用rediucer的数量会等于桶的个数i。

3.2在进行分桶操作的情况下,当桶的个数是i时,并且0< set mapreduce.job.reduces<=i时,启用reducer的数量正好是i的因数。在i相邻的两个因数之间,启用reducer的个数是不变的。详见下表:

当i为偶数时:

大数据培训

当i为奇数时:

大数据培训


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦3层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)