尚硅谷大数据技术之Hadoop(MapReduce)(新)第3章 MapReduce框架原理
3.3.8 Combiner合并案例实操
1.需求
统计过程中对每一个MapTask的输出进行局部汇总,以减小网络传输量即采用Combiner功能。
(1)数据输入
banzhang ni hao
xihuan hadoop banzhang
banzhang ni hao
xihuan hadoop banzhang
2)期望输出数据
期望:Combine输入数据多,输出时经过合并,输出数据降低。
2.需求分析