如何修改CDH集群的DataNoe节点HOSTNAME

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject

1.文档编写目的

在使用CDH集群的过程中，会涉及到修改集群DataNode的HOSTNAME，在修改HOSTSNAME的时候需要注意什么，如何让新修改HOSTSNAME的CDH集群正常工作？本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip，KDC的hostname/ip，mysql元数据库的hostname/ip等。本文的主要流程如下：

内容概述

1.修改DataNode节点的HOSTNAME

2.修改/etc/hosts配置

3.重启集群

测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.操作系统CentOS6.5

2.集群HOSTNAME列表

DataNode原始HOSTNAME

IP	HOSTNAME
172.31.9.33	ip-172-31-9-33.fayson.com

需要修改为

IP	HOSTNAME
172.31.9.33	cdh04.fayson.com

3.修改DataNode节点的HOSTNAME

1.修改/etc/sysconfig/network配置文件，内容如下

[root@ip-172-31-9-33 ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=cdh04.fayson.com

2.在命令行执行如下命令使立即生效

[root@ip-172-31-9-33 ~]# hostname cdh04.fayson.com

退出终端再重新登录可以看到HOSTNAME已更新

4.更新CDH集群所有节点的hosts文件

将修改后节点HOSTNAME信息同步至集群所有节点的/etc/hosts文件中

[root@cdh04 ~]# more /etc/hosts
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

172.31.6.148  ip-172-31-6-148.fayson.com
172.31.5.190  ip-172-31-5-190.fayson.com
172.31.10.118 ip-172-31-10-118.fayson.com
172.31.9.33   cdh04.fayson.com
172.31.7.172 ip-172-31-7-172
[root@cdh04 ~]#

注意：这里是需要将hosts信息同步至集群的所有节点。

5.重启该DataNode节点的Agent服务

[root@cdh04 ~]# ps -ef |grep supervisor
root      1058     1  0 15:23 ?        00:00:05 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisord
root     18152 18108  0 16:42 pts/0    00:00:00 grep supervisor
[root@cdh04 ~]# kill -9 1058
[root@cdh04 ~]# service cloudera-scm-agent restart
Stopping cloudera-scm-agent:                               [  OK  ]
Starting cloudera-scm-agent:                               [  OK  ]
[root@cdh04 ~]#

重启完成后查看集群列表可以看到172.31.9.33节点的HOSTNAME信息已更新

重启完成CM后，回到CM主页根据提示重启集群，集群运行正常

6.运行作业测试集群是否正常

[root@ip-172-31-6-148 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10

通过Yarn的8088界面可以看到我们修改HOSTNAME的节点任务也正常执行

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。