如何编译Livy并在非Kerberos环境的CDH集群中安装
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在前面的文章Fayson介绍了《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》,由于Cloudera暂未将Livy服务打包集成到CDH,所以需要我们自己编译安装,本篇文章主要介绍如何通过Maven编译Livy并在非Kerberos环境的CDH集群中安装。
- 内容概述
1.编译环境准备
2.Livy配置及配置Livy用户模拟
3.Livy服务启动
- 测试环境
1.CM和CDH版本为5.14.0
2.Livy版本为0.4
- 前置条件
1.集群未启用Kerberos
2.环境准备及描述
IP |
HOSTNAME |
描述 |
---|---|---|
172.31.7.172 |
ip-172-31-7-172.fayson.com |
部署Livy服务节点 |
172.31.30.69 |
ip-172-31-30-69.ap-southeast-1.compute.internal |
Livy编译节点 |
1.配置Java环境变量,这里我们使用CDH集群自带的JDK
在/etc/profile文件中增加如下配置:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH
(可左右滑动)
2.安装Maven并配置环境变量
下载Maven:
[ec2-user@ip-172-31-30-69 ~]$ sudo wget http://apache.forsale.plus/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz
(可左右滑动)
将Maven解压到指定目录
[ec2-user@ip-172-31-30-69 ~]$ sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local/
(可左右滑动)
配置Maven环境变量,在/etc/profile文件末尾增加如下内容:
export MVN_HOME=/usr/local/apache-maven-3.5.2
export PATH=$MVN_HOME/bin:$PATH
(可左右滑动)
3.安装及配置R和Python环境变量
这里R和Python的安装及配置这里就不多讲了,可以参考Fayson前面的文章《如何在Redhat中配置R环境》和《如何在CDH集群安装Anaconda&搭建Python私有源》。
4.执行命令使上述配置的环境变量生效并验证配置是否成功
[root@ip-172-31-30-69 ec2-user]# source /etc/profile
(可左右滑动)
Java环境
R环境
Python环境
5.从GitHub上下载livy源码
安装git工具
[root@ip-172-31-30-69 ec2-user]# yum -y install git
(可左右滑动)
执行git命令将livy源码下载至本地
[root@ip-172-31-30-69 ec2-user]# git clone https://github.com/cloudera/livy.git
(可左右滑动)
以上我们就准备好了livy的编译环境,接下来就开始编译livy源码
3.MAVN编译Livy
1.进入git clone下来的livy目录
[ec2-user@ip-172-31-30-69 ~]$ cd livy/
(可左右滑动)
2.在该目录下执行如下命令
[root@ip-172-31-30-69 livy]# export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
[root@ip-172-31-30-69 livy]# mvn package skipPySpark3Tests
(可左右滑动)
这里由于没有python3的环境,指定了skipPySpark3Test执行命令后开始编译,如下截图:
编译的过程会很漫长,等待编译完成即可。
如上图所示则表示编译成功,接下来进行Livy的配置。
4.Livy配置
1.将livy目录移动到/opt/cloudera目录下
[root@ip-172-31-7-172 ~]# mv livy/ /opt/cloudera/
[root@ip-172-31-7-172 ~]# cd /opt/cloudera/livy
[root@ip-172-31-7-172 livy]# pwd
(可左右滑动)
2.创建livy用户、log目录并将livy的home目录属主修改为livy:hadoop
[root@ip-172-31-7-172 livy]# useradd livy -g hadoop
[root@ip-172-31-7-172 livy]# mkdir /var/log/livy
[root@ip-172-31-7-172 livy]# mkdir /var/run/livy
[root@ip-172-31-7-172 livy]# chown livy:hadoop /var/log/livy
[root@ip-172-31-7-172 livy]# chown livy:hadoop /var/run/livy
[root@ip-172-31-7-172 livy]# chown -R livy:hadoop /opt/cloudera/livy/
[root@ip-172-31-7-172 livy]# ll /opt/cloudera/
(可左右滑动)
3.在/opt/cloudera/livy/conf目录下创建livy.conf、livy-env.sh、spark-blacklist.conf配置文件
[root@ip-172-31-7-172 livy]# cd conf/
[root@ip-172-31-7-172 conf]# scp livy-env.sh.template livy-env.sh
[root@ip-172-31-7-172 conf]# scp spark-blacklist.conf.template spark-blacklist.conf
[root@ip-172-31-7-172 conf]# scp livy.conf.template livy.conf
[root@ip-172-31-7-172 conf]# chown livy:hadoop livy.conf livy-env.sh spark-blacklist.conf
[root@ip-172-31-7-172 conf]# ll
(可左右滑动)
4.修改livy.conf配置文件,在文件末尾增加如下内容
livy.spark.master = yarn
livy.spark.deployMode = cluster
livy.environment = production
livy.impersonation.enabled = true
livy.server.csrf_protection.enabled true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/tmp/livy
(可左右滑动)
a)配置Spark作业提交模式
b)配置livy启用模拟用户提交作业
c)配置livy恢复模式(默认为空、支持FileSystem本地文件系统及HDFS文件系统、Zookeeper)
5.修改livy-env.sh配置文件,增加Haoop和Spark的配置信息,内容如下:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark/conf
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/var/log/livy
export LIVY_PID_DIR=/var/run/livy
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"
(可左右滑动)
配置HADOOP、SPARK、JAVA等环境变量。
6.修改spark-blacklist.conf内容如下:
[root@ip-172-31-30-69 conf]# vim spark-blacklist.conf
#
# Configuration override / blacklist. Defines a list of properties that users are not allowed
# to override when starting Spark sessions.
#
# This file takes a list of property names (one per line). Empty lines and lines starting with "#"
# are ignored.
#
# Disallow overriding the master and the deploy mode.
spark.master
spark.submit.deployMode
# Disallow overriding the location of Spark cached jars.
spark.yarn.jar
spark.yarn.jars
spark.yarn.archive
# Don't allow users to override the RSC timeout.
livy.rsc.server.idle-timeout
(可左右滑动)
5.修改Hadoop配置
1.登录CM进入HDFS服务的配置项
2.在“core-site.xml 的群集范围高级配置代码段(安全阀)”配置项增加如下内容
<property>
<name>hadoop.proxyuser.livy.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.livy.hosts</name>
<value>*</value>
</property>
(可左右滑动)
3.在HDFS上创建livy的home目录
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -mkdir /user/livy
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -chown livy:supergroup /user/livy
[root@ip-172-31-7-172 conf]# sudo -u hdfs hadoop fs -ls /user
(可左右滑动)
回到CM主页根据提示重启相应服务,到此就完成Livy的安装及CDH的集成。
6.Livy服务启停
1.启动Livy服务
[root@ip-172-31-7-172 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server start
(可左右滑动)
查看服务是否已启动
[root@ip-172-31-7-172 ~]# lsof -i:8998
[root@ip-172-31-7-172 ~]# netstat -apn |grep 8998
[root@ip-172-31-7-172 ~]# ps -ef |grep 13397
(可左右滑动)
2.停止Livy服务
[root@ip-172-31-7-172 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server stop
(可左右滑动)
可以通过浏览器可以查看Livy的Web界面。
到此为止就完成了Livy源码编译、安装与非Kerberos环境下的CDH集群集成。
7.总结
- 部署Livy的节点需要安装CDH的GateWay工具
- Livy工程的编译的依赖环境需要配置否则在编译时会报错,具体可以参考如下:
https://github.com/cloudera/livy
https://github.com/apache/incubator-livy
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- 分布式监控系统Zabbix-3.0.3-完整安装记录(3)-监控nginx,php,memcache,Low-level discovery磁盘IO
- python报错问题解决:'ascii' codec can't encode character
- 利用message queue实现aspx与winform通信, 并附完整示例
- 10招步骤保护IIS服务器安全
- Haproxy+Keepalived高可用环境部署梳理(主主和主从模式)
- Android-Universal-Image-Loader 图片异步加载类库的使用
- 工作组模式下专用队列(Private Queue)如何引用远程队列路径
- haproxy反向代理环境部署(http和https代理)
- 网站速度优化模块HttpCompressionModule
- mysql启动后随即关闭问题解决(ibdata1文件损坏导致)
- webvirtmgr-重命名kvm虚拟机的名称
- Lucene 2.0最基本的入门代码
- 网站每日PV/IP统计/总带宽/URL统计脚本分享(依据网站访问日志)
- 查看服务器系统资源(cpu,内容)利用率前几位的进程的方法
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 给我1万字,也讲Java不清内存排查。1万不行来2万~.~
- Typescript 设计模式之工厂方法
- vue中获取外网IP的方法
- WPF图片处理相关
- WPF文件压缩
- 如何实现SAP WebClient UI附件批量上传
- Python基础教程
- 使用Source Monitor检测Java代码的环复杂度
- 使用Source Monitor检测Java代码的环复杂度
- AndroidStdio1_2
- 使用扩展技术对SAP Fiori应用进行端到端的增强,一个实际案例介绍
- python Unhandled exception in event loop:错误解决
- SAP Fiori image的显示原理
- 解决Error:All flavors must now belong to a named flavor dimension.
- 同时搞定Android和iOS的Dart语言(3):数值类型