大数据培训技术Partition分区

Shuffle机制

Map方法之后,Reduce方法之前的数据处理过程称之为Shuffle。如图4-14所示。

大数据培训

图4-14  Shuffle机制

Partition分区

大数据培训技术

大数据培训

大数据培训

Partition分区案例实操

1.需求

将统计结果按照手机归属地不同省份输出到不同文件中(分区)

(1)输入数据

      大数据培训技术

(2)期望输出数据

       手机号136、137、138、139开头都分别放到一个独立的4个文件中,其他开头的放到一个文件中。

2.需求分析

大数据培训

3.在案例2.4的基础上,增加一个分区类

package com.atguigu.mapreduce.flowsum;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Partitioner;

 

public class ProvincePartitioner extends Partitioner<Text, FlowBean> {

 

   @Override

   public int getPartition(Text key, FlowBean value, int numPartitions) {

 

      // 1 获取电话号码的前三位

      String preNum = key.toString().substring(0, 3);

 

      int partition = 4;

 

      // 2 判断是哪个省

      if (“136”.equals(preNum)) {

          partition = 0;

      }else if (“137”.equals(preNum)) {

          partition = 1;

      }else if (“138”.equals(preNum)) {

          partition = 2;

      }else if (“139”.equals(preNum)) {

          partition = 3;

      }

 

      return partition;

   }

}

4.在驱动函数中增加自定义数据分区设置和ReduceTask设置

package com.atguigu.mapreduce.flowsum;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 

public class FlowsumDriver {

 

   public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {

 

      // 输入输出路径需要根据自己电脑上实际的输入输出路径设置

      args = new String[]{“e:/output1″,”e:/output2”};

 

      // 1 获取配置信息,或者job对象实例

      Configuration configuration = new Configuration();

      Job job = Job.getInstance(configuration);

 

      // 2 指定本程序的jar包所在的本地路径

      job.setJarByClass(FlowsumDriver.class);

 

      // 3 指定本业务job要使用的mapper/Reducer业务类

      job.setMapperClass(FlowCountMapper.class);

      job.setReducerClass(FlowCountReducer.class);

 

      // 4 指定mapper输出数据的kv类型

      job.setMapOutputKeyClass(Text.class);

      job.setMapOutputValueClass(FlowBean.class);

 

      // 5 指定最终输出的数据的kv类型

      job.setOutputKeyClass(Text.class);

      job.setOutputValueClass(FlowBean.class);

 

      // 8 指定自定义数据分区

      job.setPartitionerClass(ProvincePartitioner.class);

 

      // 9 同时指定相应数量的reduce task

      job.setNumReduceTasks(5);

 

      // 6 指定job的输入原始文件所在目录

      FileInputFormat.setInputPaths(job, new Path(args[0]));

      FileOutputFormat.setOutputPath(job, new Path(args[1]));

 

      // 7 将job中配置的相关参数,以及job所用的java类所在的jar包, 提交给yarn去运行

      boolean result = job.waitForCompletion(true);

      System.exit(result ? 0 : 1);

   }

}


上一篇:
下一篇:
关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
电话:010-56253825
邮箱:info@atguigu.com
地址:北京市昌平区宏福科技园综合楼6层(北京校区)

 深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)