MapReduce进程以及常用数据序列化类型_大数据培训

发布时间:2020年08月14日作者:atguigu浏览次数:720

MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程:
1) MuAppMaster:负责整个程序的过程调度及状态协调。
2) MapTask:
负责Map阶段的整个数据处理流程。
3) ReduceTask:负责Reduce阶段的整 个数据处理流程。

官方WordCount源码

采用反编译工具反编译源码,发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型。

常用数据序列化类型

表4-1 常用的数据类型对应的Hadoop数据序列化类型

Java类型Hadoop Writable类型
booleanBooleanWritable
byteByteWritable
intIntWritable
floatFloatWritable
longLongWritable
doubleDoubleWritable
StringText
mapMapWritable
arrayArrayWritable

了解相关大数据培训更多内容!


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦3层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)