大数据 CDH 5.8 安装

时间:2020-04-26
本文章向大家介绍大数据 CDH 5.8 安装，主要包括大数据 CDH 5.8 安装使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

环境介绍

名称 安装包 下载地址
CM cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz [下载地址] (http://archive.cloudera.com/cm5/cm/5/)
CDH CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 manifest.json 下载地址
JDK jdk-8u161-linux-x64.tar.gz 下载地址
mysql mysql-5.7.16-1.el7.x86_64.tar [下载地址] ()
jdbc mysql-connector-java-5.1.46.tar.gz [下载地址]

主机信息

IP 主机名 内存 备注
192.168.200.129 ifan129 8G 主节点
192.168.200.130 ifan130 8G
192.168.200.131 ifan131 8G

修改基本配置

停止防火墙

所有节点

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动，如果不执行，服务器重启之后firewall会启动
firewall-cmd --state  #查看防火墙状态

关闭SELinux

主节点

vi /etc/selinux/config
SELINUX=disabled

CM需要

yum install psmisc

禁用透明大表页

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

优化交换分区

echo "vm.swappiness = 10" >> /etc/sysctl.conf
sysctl -p

配置 ssh 免密登录

# 生成key
ssh-keygen -t rsa
# 复制到其他节点
ssh-copy-id ifan129
ssh-copy-id ifan130
ssh-copy-id ifan131

HOST 文件

vim /etc/hosts

192.168.200.129 ifan129
192.168.200.130 ifan130
192.168.200.131 ifan131

复制到其他节点

scp /etc/hosts root@ifan130:/etc/hosts
scp /etc/hosts root@ifan131:/etc/hosts

时钟同步

NTP 属性 主机
NTP Server ifan129
NTP Client ifan130
NTP Client ifan131

1. 安装

yum install ntp

2. 修改 NTP Server 文件

vim /var/lib/ntp/drift

配置文件内容

restrict default ignore   #新增行1     
restrict 192.168.200.0  mask 255.255.255.0 notrap nomodify  #新增行2:运行200网段的所有IP同步

fudge   127.127.1.0 stratum 10  #新增行3
restrict 127.0.0.1 
restrict ::1
server 127.127.1.0  #新增行4:ntp server服务器地址，127.127.1.0是本服务器的IP
server 192.168.200.129  #新增行5：ntp server服务器地址

3. 启动ntp服务

所有节点

systemctl restart ntpd.service #启动ntp服务
systemctl enable ntpd.service  #设置开机启动
service ntpd status # 查看NTP状态

4. 查看 NTP 服务时间同步信息

ntpdc -np

5. 配置每天进行一次时间同步

crontab -e 
30 12 * * * /usr/sbin/ntpdate 192.168.200.129 >> /tmp/ntdp.log

安装JDK

tar -zvxf jdk-8u161-linux-x64.tar.gz -C /opt/
# 因为CDH的一些问题 需要设置软连接到/usr/java/default
ln -s /opt/jdk1.8 /usr/java/default

vim /etf/profile

export JAVA_HOME=/opt/jdk1.8
export PAHT=$JAVA_HOME/bin:$PATH

# 配置文件生效
source /etc/profile

复制到其他节点

scp -r /opt/jdk1.8 root@ifan130:/opt
scp -r /opt/jdk1.8 root@ifan131:/opt
# 环境配置文件
scp /etc/profile root@ifan130:/etc/profile
scp /etc/profile root@ifan131:/etc/profile

安装 mysql(主节点)

安装 CM

1. 解压 CM

tar -zvxf cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz -C /opt

2. 复制 mysql connect

mv mysql-connect.jar /opt/cm-5.8.5/share/cmf/lib

3. 初始化CM数据库

/opt/cm-5.8.5/share/cmf/schema/scm_prepare_database.sh mysql scm scm

4. 修改agent配置文件

vim /opt/cm-5.8.5/etc/cloudera-scm-agent/config.ini

server_host=ifan129

5. 复制到其他节点

scp -r /opt/cm-5.8.5 root@ifan130:/opt
scp -r /opt/cm-5.8.5 root@ifan131:/opt

6. 在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.8.5/run/cloudera-scm-server --no-create-home --shell=/bin/false  cloudera-scm

7. 准备parcels

ls /opt/cloudera/parcel-repo

CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 manifest.json

需要将 CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 改名为 CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha

启动

主节点

# CM
/opt/cm-5.8.5/etc/init.d/cloudera-scm-server start
# agent
/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start

从节点

# agent
/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start

原文地址：https://www.cnblogs.com/iFanLiwei/p/12782330.html

随机文章
本站知识点必读
最近更新