Hapoop 搭建 (八)YARN HA搭建
时间:2020-03-26
本文章向大家介绍Hapoop 搭建 (八)YARN HA搭建,主要包括Hapoop 搭建 (八)YARN HA搭建使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
结构以及服务器角色
一、yarn-site.xml 文件配置
在centos01的hadoop安装目录的配置文件夹中 配置 yarn-site.xml (路径:/opt/modules/hadoop-2.8.2/etc/hadoop ),完整文件如下:
<configuration> <!--指定在YARN上面可以运行MapReduce程序 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- YARN HA 配置--> <!-- 开启ResourceManager HA高可用 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 指定RM的cluster id --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarncluster</value> </property> <!-- 集群中ResourceManager的Id列表 --> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 分别指定RM的地址 所在节点主机名 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>centos01</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>centos02</value> </property> <!-- 分别指定web页面的访问地址 --> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>centos01:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>centos02:8088</value> </property> <!-- 指定zk集群地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>centos01:2181,centos02:2181,centos03:2181</value> </property> <!-- 启用自动恢复 --> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!-- 指定resourcemanager的状态信息存储在zookeeper集群上 --> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value> </property> </configuration>
二、同步到其它节点
将yarn-site.xml配置文件复制到另2个节点上
scp /opt/modules/hadoop-2.8.2/etc/hadoop/yarn-site.xml hadoop@centos02:/opt/modules/hadoop-2.8.2/etc/hadoop/ scp /opt/modules/hadoop-2.8.2/etc/hadoop/yarn-site.xml hadoop@centos03:/opt/modules/hadoop-2.8.2/etc/hadoop/
三、启动zookeeper集群
停止 sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh stop 启动 sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh start
[hadoop@centos01 ~]$ sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/modules/zookeeper-3.4.14/bin/../conf/zoo.cfg Mode: leader [hadoop@centos01 ~]$ sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh stop ZooKeeper JMX enabled by default Using config: /opt/modules/zookeeper-3.4.14/bin/../conf/zoo.cfg Stopping zookeeper ... STOPPED [hadoop@centos01 ~]$ sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/modules/zookeeper-3.4.14/bin/../conf/zoo.cfg Error contacting service. It is probably not running. [hadoop@centos01 ~]$ sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/modules/zookeeper-3.4.14/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [hadoop@centos01 ~]$
四、启动YARN集群
分别进入centos01、centos02的hadoop的安装目录启动ResourceManager
sh /opt/modules/hadoop-2.8.2/sbin/yarn-daemon.sh start resourcemanager
进入3各节点的hadoop安装目录启动NodeManager
sh /opt/modules/hadoop-2.8.2/sbin/yarn-daemon.sh start nodemanager
五、查看节点进程
[hadoop@centos01 sbin]$ jps 96960 ResourceManager 64850 JournalNode 97427 NodeManager 64164 DataNode 34004 QuorumPeerMain 65305 DFSZKFailoverController 98876 Jps 36702 NameNode [hadoop@centos02 ~]$ jps 59364 DataNode 84087 NodeManager 83686 ResourceManager 85798 Jps 61513 DFSZKFailoverController 20457 QuorumPeerMain 59980 JournalNode 82735 NameNode [hadoop@centos03 hadoop]$ jps 62977 NodeManager 49509 JournalNode 65191 Jps 130810 QuorumPeerMain 48845 DataNode
六、测试YARN故障转移
访问centos01活动的ResourceManager
http://192.168.0.171:8088/cluster
访问centos02活动的ResourceManager,此时活动的是centos01所以会自动跳转到centos01上
http://192.168.0.172:8088/cluster
[hadoop@centos01 sbin]$ jps 96960 ResourceManager 64850 JournalNode 97427 NodeManager 64164 DataNode 34004 QuorumPeerMain 65305 DFSZKFailoverController 98876 Jps 36702 NameNode [hadoop@centos01 sbin]$ kill -9 96960 [hadoop@centos01 sbin]$
自动切换到centos02上
原文地址:https://www.cnblogs.com/xuchen0117/p/12484716.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 正确使用Layui弹出层
- Redis到底快在哪里,你猜呢
- 通过Session记录数据
- Layui表格单元个编辑事件
- 程序员画图两大神器,贴心老哥推荐
- 被面试官虐了,索引为何使用B+树,你知道吗
- Supermap GIS地图知识点
- 最全一篇Lombok使用讲解,及原理,真香啊
- 过来人对迷茫的程序员一点建议,3种学习方式的优缺点
- Java实现分页模糊查询
- VB.NET 仿spy++拖拽图标获取窗体句柄
- 线程生命周期,五大状态转换分析
- 推荐 2 款超牛逼、炫酷、实用的Docker管理工具!
- [业界方案]用Jaeger来学习分布式追踪系统Opentracing
- 记一次FullGC的排查经历--从日志到业务代码