尚硅谷大数据技术之Hadoop（MapReduce）（新）第3章 MapReduce框架原理
5．总结
3.7.3 Map Join
1．使用场景
Map Join适用于一张表十分小、一张表很大的场景。
2．优点
思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？
在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。
3．具体办法：采用DistributedCache
（1）在Mapper的setup阶段，将文件读取到缓存集合中。
（2）在驱动函数中加载缓存。
// 缓存普通文件到Task运行节点。
job.addCacheFile(new URI("file://e:/cache/pd.txt"));
3.7.4 Map Join案例实操
1001 01 1
1002 02 2
1003 03 3
1004 01 4
1005 02 5
1006 03 6
|
id |
pid |
amount |
|
1001 |
01 |
1 |
|
1002 |
02 |
2 |
|
1003 |
03 |
3 |
|
1004 |
01 |
4 |
|
1005 |
02 |
5 |
|
1006 |
03 |
6 |
01 小米
02 华为
03 格力
|
pid |
pname |
|
01 |
小米 |
|
02 |
华为 |
|
03 |
格力 |
将商品信息表中数据根据商品pid合并到订单数据表中。
|
id |
pname |
amount |
|
1001 |
小米 |
1 |
|
1004 |
小米 |
4 |
|
1002 |
华为 |
2 |
|
1005 |
华为 |
5 |
|
1003 |
格力 |
3 |
|
1006 |
格力 |
6 |
