如何修改CDH集群的IP地址

时间:2022-05-06
本文章向大家介绍如何修改CDH集群的IP地址,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需要修改集群CDH集群IP地址至内网网段,本篇文章主要介绍如何修改CDH集群的IP地址。

  • 内容概述

1.环境说明

2.修改集群hosts文件及重启相应服务

3.修改Kafka和Flume配置

  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.操作系统RedHat7.2

2.集群环境说明


在集群中个节点均有两个以上的IP地址,172.16.25.*网段为集群内部通信网段,10.134.130.*为集群的管理网段,在部署集群时错将管理网段作为集群的内网,因此现在需要将集群的数据网段修改为172.16.25.*。

管理LAN(千兆)

数据Lan(万兆)

HOSTNAME

10.134.130.44

172.16.25.1

datanode1

10.134.130.46

172.16.25.2

datanode2

10.134.130.47

172.16.25.3

datanode3

10.134.130.81

172.16.25.4

datanode4

10.134.130.84

172.16.25.5

datanode5

10.134.130.85

172.16.25.6

datanode6

10.134.130.86

172.16.25.7

datanode7

10.134.130.87

172.16.25.7

namenode1

10.134.130.88

172.16.25.10

edgenode

10.134.130.98

172.16.25.9

namenode2

3.修改集群的hosts文件


1.集群修改前hosts文件

2.集群修改后hosts文件

注意:将修改后的hosts文件同步至集群所有节点。

4.重启集群服务


1.在集群所有节点执行如下操作

[root@edgenode shell]# ps -ef |grep supervisor
[root@edgenode shell]# kill -9 13141
[root@edgenode shell]# systemctl restart cloudera-scm-agent

(可左右滑动)

2.使用管理员登录Cloudera Manager 的WEB控制台,根据提示重启Cloudera Managent Service 和 CDH 集群。

重启完成后集群正常

3.查看集群列表主机列表IP地址是否已修改

5.修改Kafka配置


由于集群之前使用的Kafka网段为10.134.130.*,该网段与外部应用网络互通,现将集群的网段修改为172.16.25.*后,外部应用与Kafka的访问出现故障,经查看发现Kafka的Broker服务启动默认监听的是内网的IP地址,无法供外部应用访问,所以现在需要对Kafka配置进行修改,使其监听10.134.130.*网段的IP地址。

1.进入Kafka服务的每个Broker实例,修改advertised.host.name属性为该实例所在服务器的外部IP地址

2.在每个Kafka Broker实例的服务启动参数中增加高级配置

listeners=PLAINTEXT://10.134.130.88:9092

保存配置后,回到CM主页根据提示重启相应服务。

3.检查监听端口是否为我们指定的IP地址

[root@edgenode shell]# netstat -apn |grep 9092 |grep LISTEN

(可左右滑动)

6.修改Flume Agent配置


由于集群中使用到Flume和Kafka,所以这里需要将Flume的Agent进行相应的修改。修改Flume的Agent配置文件中使用到Kafka的broker配置,将hostname修改为上面绑定的Ip地址。如下:

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操