BigData--Yarn资源调度器
Yarn资源调度器
YARN主要由ResourceManager
、NodeManager
、ApplicationMaster
和Container
等组件构成
1、YARN架构
2、YARN工作机制
工作机制详解
(1)MR程序提交到客户端所在的节点。
(2)YarnRunner
向ResourceManager
申请一个Application
。
(3)RM将该应用程序的资源路径返回给YarnRunner
。
(4)该程序将运行所需资源提交到HDFS上。
(5)程序资源提交完毕后,申请运行mrAppMaster
。
(6)RM将用户的请求初始化成一个Task。
(7)其中一个NodeManager
领取到Task任务。
(8)该NodeManager
创建容器Container
,并产生MRAppmaster。
(9)Container
从HDFS上拷贝资源到本地。
(10)MRAppmaster
向RM 申请运行MapTask
资源。
(11)RM将运行MapTask
任务分配给另外两个NodeManager
,另两个NodeManager
分别领取任务并创建容器。
(12)MR向两个接收到任务的NodeManager
发送程序启动脚本,这两个NodeManager
分别启动MapTask
,MapTask
对数据分区排序。
(13)MrAppMaster
等待所有MapTask
运行完毕后,向RM申请容器,运行ReduceTask
。
(14)ReduceTask
向MapTask
获取相应分区的数据。
(15)程序运行完毕后,MR
会向RM
申请注销自己。
3、作业提交
1)作业提交过程之YARN
(1)作业提交
- 第1步:Client调用
job.waitForCompletion
方法,向整个集群提交MapReduce作业。 - 第2步:Client向RM申请一个作业id。
- 第3步:RM给Client返回该job资源的提交路径和作业id。
- 第4步:Client提交jar包、切片信息和配置文件到指定的资源提交路径。
- 第5步:Client提交完资源后,向RM申请运行
MrAppMaster
。
(2)作业初始化
- 第6步:当RM收到Client的请求后,将该job添加到容量调度器中。
- 第7步:某一个空闲的NM领取到该Job。
- 第8步:该NM创建
Container
,并产生MRAppmaster
。 - 第9步:下载Client提交的资源到本地。
(3)任务分配
- 第10步:
MrAppMaster
向RM申请运行多个MapTask任务资源。 - 第11步:RM将运行
MapTask
任务分配给另外两个NodeManager
,另两个NodeManager
分别领取任务并创建容器。
(4)任务运行
- 第12步:MR向两个接收到任务的
NodeManager
发送程序启动脚本,这两个NodeManager
分别启动MapTask
,MapTask
对数据分区排序。 - 第13步:
MrAppMaster
等待所有MapTask
运行完毕后,向RM申请容器,运行ReduceTask
。 - 第14步:
ReduceTask
向MapTask
获取相应分区的数据。 - 第15步:程序运行完毕后,MR会向RM申请注销自己。
(5)进度和状态更新
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval
设置)向应用管理器请求进度更新, 展示给用户。
(6)作业完成
除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()
来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterva
l来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。
2)作业提交过程之MapReduce
4、资源调度器
Hadoop作业调度器主要有三种:FIFO
、Capacity Scheduler
和Fair Scheduler
。
1)先进先出调度器(FIFO)
2)容量调度器(Capacity Scheduler)
- 1、支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略。
- 2、为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。
- 3、首先,计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列——最闲的。
- 4、其次,按照作业优先级和提交时间顺序,同时考虑用户资源量限制和内存限制对队列内任务排序。
- 5、三个队列同时按照任务的先后顺序依次执行,比如,job11、job21和job31分别排在队列最前面,先运行,也是并行运行。
3)公平调度器(Fair Scheduler)
支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。
在同一个队列中,job的资源缺额越大,越先获得资源优先执行。作业是按照缺额的高低来先后执行的,而且可以看到上图有多个作业同时运行。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- JS执行机制
- 元素偏移量 offset 系列
- 设计模式系列之建造者模式构建实体类
- 元素可视区 client 系列
- 【阿里】在 nginx 中如何配置负载均衡
- 并发编程系列之JDK JUC实现内存缓存(支持并发)
- 10.1【前端开发】背景属性:样式中背景色和背景图片样式如何使用?
- 元素滚动 scroll 系列
- Java基础系列之fastjson parse多级json数据
- Linux系列之下载安装jdk-8u261-linux-i586.tar.gz
- 常见网页特效案例
- MySQL系列之体系结构原理学习笔记
- 触屏事件
- 10.2【前端开发】图片文件格式:常见的图片格式对比有何优劣以及如何使用Google的webp格式?
- uni-app 与 Vue H5 项目通讯