安装CDH7.1.1
这篇文章是精通CDP系列的第一文章。
Cloudera与Hortonworks合并后,推出了全球领先的下一代数据平台Cloudera Data Platform。CDP为用户提供一个多云且多功能的平台,用于管理企业数据云。通过统一的平台界面,对数据进行整个生命周期管理,并提供一致的安全和治理服务。
Cloudera DataHub即CDH作为CDP的核心组件,集成了众多前沿数据技术,Ranger、Nifi、Flink、Ozone、Hive3,存储与计算分析,Cloudera Streams Management等等。这些我们会在系列文章中一一讲述。首先我们详细介绍下如何安装最新版CDH7.1.1。
前置准备
网络设置
修改网络IP,并设置为静态
vim /etc/sysconfig/network-scripts/ifcfg-ens192
主机名设置
使用hostnamectl set-hostname 修改主机名,配置/etc/hosts,并分发到所有节点
禁止Selinux
执行命令
./batch_cmd.sh node.list "setenforce 0"
关闭防火墙
./batch_cmd.sh node.list "systemctl disable firewalld"
./batch_cmd.sh node.list "systemctl status firewalld"
关闭透明大页面
使用脚本命令批量执行如下操作:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
设置开机自动关闭透明大页面:
echo "if test -f /sys/kernel/mm/transparent_hugepage/enabled; then">> /etc/rc.d/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled">> /etc/rc.d/rc.local
echo "fi">> /etc/rc.d/rc.local
echo "if test -f /sys/kernel/mm/transparent_hugepage/defrag; then">> /etc/rc.d/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag">> /etc/rc.d/rc.local
echo "fi">> /etc/rc.d/rc.local
授权:
使用脚本命令批量执行
./batch_cmd.sh node.list "cat /etc/rc.d/rc.local"
./batch_cmd.sh node.list "chmod +x /etc/rc.d/rc.local"
./batch_cmd.sh node.list "ls -l /etc/rc.d/|grep rc.local"
设置swappiness
sysctl vm.swappiness=30
echo 10> /proc/sys/vm/swappiness
查看swappiness的值:
./batch_cmd.sh node.list "cat /proc/sys/vm/swappiness"
安装ntp时间同步
所有节点下载安装ntp服务
使用脚本批量执行
./batch_cmd.sh node.list "yum -y install ntp"
Master节点修改 /etc/ntp.conf文件:
注释部分内容,添加以下内容:
server 127.127.1.0
fudge 127.127.1.0 stratum 10
集群其他节点修改/etc/ntp.conf文件如下:
启动ntpd服务,并设置ntpd服务开机自动启动,查看ntp服务状态:
查看同步状态:
安装httpd
启动httpd,并设置开机自动启动,查看httpd状态
配置Cloudera Manager的repo源
在/etc/yum.repos.d/目录下新建cm.repo文件,并添加如下内容:
执行
yum clean all
yum repolist
安装数据库
yum -y install mariadb mariadb-server
启动mariadb数据库:systemctl start mariadb
设置mariadb数据库开机自启:systemctl enable mariadb
查看mariadb数据库服务状态:systemctl status mariadb
配置mariadb,设置密码为password
/usr/bin/mysql_secure_installation
创建集群所需的数据库
create database metastore default character set utf8;
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
FLUSH PRIVILEGES;
create database cm default character set utf8;
CREATE USER 'cm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON cm.* TO 'cm'@'%';
FLUSH PRIVILEGES;
create database rm default character set utf8;
CREATE USER 'rm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON rm.* TO 'rm'@'%';
FLUSH PRIVILEGES;
create database am default character set utf8;
CREATE USER 'am'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON am.* TO 'am'@'%';
FLUSH PRIVILEGES;
create database hue default character set utf8;
CREATE USER 'hue'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hue.* TO 'hue'@'%';
FLUSH PRIVILEGES;
create database oozie default character set utf8;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
create database nav_ms default character set utf8;
CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%';
FLUSH PRIVILEGES;
create database nav_as default character set utf8;
CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%';
FLUSH PRIVILEGES;
create database ranger default character set utf8;
CREATE USER 'rangeradmin'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON ranger. * TO 'rangeradmin'@'%';
FLUSH PRIVILEGES;
查看创建的数据库:
安装JDBC驱动
创建/usr/share/java/文件夹,并将驱动jar包改名为:mysql-connector-java.jar放进该目录:
在master节点上安装JDK
集群的部署安装
安装并启动cloudera-manager-server
在master节点上安装Cloudera-Manager-Server:
yum -y install cloudera-manager-server
初始化数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password
执行启动命令
systemctl start cloudera-scm-server
查看7180端口是否被监听
netstat -lnpt|grep 7180
登录
通过网页访问 http://192.168.0.234:7180/cmf/login
输入账号admin 密码 admin登录CM
集群安装
选择60天试用版
点击继续
输入集群名称,使用默认的Cluster1
指定安装主机
设置存储库
安装JDK以及加密政策
SSH登录,选择用户,并输入密码
安装Agents
安装选定parcel
主机正确性检查,确保全部通过后点完成
组件安装,选择自己要安装的组件
主机角色分配
数据库连接测试
测试成功,点击继续。设置Range相关参数
审核更改
集群设置
集群安装完成
- UVA 11292 Dragon of Loowater(简单贪心)
- Codeforces Beta Round #2 A,B,C
- 牛顿迭代法(Newton's Method)
- 最长递减子序列(nlogn)(个人模版)
- Selenium2+python自动化26-js处理内嵌div滚动条
- Selenium2+python自动化25-js处理日历控件
- 转负二进制(个人模版)
- Selenium2+python自动化24-js处理富文本
- 【干货】对抗自编码器PyTorch手把手实战系列——PyTorch实现对抗自编码器
- Selenium2+python自动化23-富文本(自动发帖)
- 2-Sat+输出可行解(个人模版)
- 协同过滤原理及Python实现
- 每周学点大数据 | No.25二叉搜索树回顾(二)
- RBF神经网络及Python实现(附源码)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【Java】 NullPointerException、ArrayIndexOutOfBoundsException、ClassCastException、ArrayIndexOutOfBoundsE
- Meow攻击删除不安全(开放的)的Elasticsearch(及MongoDB) 索引,建一堆以Meow结尾的奇奇怪怪的索引(如:m3egspncll-meow)
- MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据
- MySQL 快速删除大量数据(千万级别)的几种实践方案——附源码
- 什么样的代码是好代码?
- Elastic search集群新增节点(同一集群,同一物理机)
- Tesseract-OCR 4.1.0 安装和使用— windows及CentOS
- Java 大小端转换(基于ByteBuffer)
- Tika结合Tesseract-OCR 实现光学汉字识别(简体、宋体的识别率百分之百)—附Java源码、测试数据和训练集下载地址
- 阿里《JAVA实习生入职测试题—2019最新》之答案详解(连载一)
- 阿里《JAVA实习生入职测试题—2019最新》之答案详解(连载二)
- 动态生成RDLC报表
- Angular 页面元素的DOM级别的删除过程
- 单例模式—四种写法详解
- Angular view container删除view实例的过程