尚硅谷大数据技术之Hadoop（MapReduce）（新）第3章 MapReduce框架原理

3.3.8 Combiner合并案例实操

1．需求

统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能。

（1）数据输入

banzhang ni hao
xihuan hadoop banzhang
banzhang ni hao
xihuan hadoop banzhang

 

2）期望输出数据

期望：Combine输入数据多，输出时经过合并，输出数据降低。

2．需求分析