大数据培训Yarn资源调度器工作机制

Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

Yarn基本架构

       YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成,如图4-23所示。

大数据培训课程

图4-23 Yarn基本架构

 Yarn工作机制

1.Yarn运行机制,如图4-24所示。

大数据培训课程

图4-24  Yarn工作机制

2.工作机制详解

       (1)MR程序提交到客户端所在的节点。

       (2)YarnRunner向ResourceManager申请一个Application。

       (3)RM将该应用程序的资源路径返回给YarnRunner。

       (4)该程序将运行所需资源提交到HDFS上。

       (5)程序资源提交完毕后,申请运行mrAppMaster。

       (6)RM将用户的请求初始化成一个Task。

       (7)其中一个NodeManager领取到Task任务。

       (8)该NodeManager创建容器Container,并产生MRAppmaster。

       (9)Container从HDFS上拷贝资源到本地。

       (10)MRAppmaster向RM 申请运行MapTask资源。

       (11)RM将运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。

       (12)MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动MapTask,MapTask对数据分区排序。

(13)MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask。

       (14)ReduceTask向MapTask获取相应分区的数据。

       (15)程序运行完毕后,MR会向RM申请注销自己。

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习


上一篇:
下一篇:
关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
电话:010-56253825
邮箱:info@atguigu.com
地址:北京市昌平区宏福科技园综合楼6层(北京校区)

 深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)