如何使用Cloudera Manager升级Spark2.1版本至Spark2.2
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在CDH集群中spark1和Spark2版本可以共存,为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug,现需要将CDH集群中Spark2的版本升级至Spark2.2最新,本篇文章主要介绍如何通过Cloudera Manager将Spark2.1版本升级至Spark2.2。
- 内容概述
1.升级准备
2.升级Spark版本及验证
3.总结
- 测试环境
1.CM和CDH版本为5.13.1
2.Spark on Yarn部署
- 前置条件
1.集群JAVA版本已升级至1.8
2.升级准备
1.下载Spark2.2的parcel包及csd文件,如下下载地址
csd文件下载地址:
http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar
(可左右滑动)
parcel包下载地址:
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/manifest.json
(可左右滑动)
2.部署Spark2.2的parcel包
将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下
3.测试是不parcel是否部署成功
4.部署csd文件
将下载好的csd文件拷贝至/opt/cloudera/csd目录下,并修改文件属主为cloudera-scm
[root@ip-172-31-6-148 csd]# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar
(可左右滑动)
注意:如果csd目录下有其它Spark版本的csd文件需要移除。
5.完成以上部署后,重启cloudera-scm-server服务
[root@ip-172-31-6-148 csd]# service cloudera-scm-server restart
Stopping cloudera-scm-server: [ OK ]
Starting cloudera-scm-server: [ OK ]
[root@ip-172-31-6-148 csd]#
(可左右滑动)
6.使用管理员登录到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务
3.升级Spark2.2
1.当前CDH集群中激活的Spark版本为2.1.0
安装的Spark版本为2.1.0
命令行运行确认Spark2版本
2.配置Spark2.2版本的parcel库地址
可以看到Spark的parcel中显示了2.2的版本。
3.点击下载、分配Spark2.2版本
4.点击“激活”Spark2.2的parcel包
重启成功
5.Parcel显示为已激活状态
6.配置Spark2的JAVA环境变量
保存配置,并重新部署客户端配置
至此已完成Spark2.2的升级
4.验证Spark版本
1.在命令行运行spark2-shell命令,验证Spark版本
2.运行一个Spark2的作业
spark2-submit --class org.apache.spark.examples.SparkPi
--master yarn-client --num-executors 4 --driver-memory 2g
--driver-cores 1 --executor-memory 2g --executor-cores 1
/opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5
(可左右滑动)
作业执行成功,查看Yarn的8088界面
5.常见问题
在命令行运行spark2-shell命令报如下异常:
[root@ip-172-31-6-148 ~]# spark2-shell
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482)
[root@ip-172-31-6-148 ~]#
(可左右滑动)
解决方式:在Spark2的配置项“客户端高级配置代码片段”中增加JAVA的环境变量且必须为1.8版本。
6.总结
- 升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本,具体可以参考Fayson前面的文章《如何将CDH集群JAVA升级至JDK8》和《如何将Kerberos环境下CDH集群JAVA升级至JDK8》。
- 升级Spark2.2时需要注意CSD文件是否与parcel版本一致,且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。
- 在升级到Spark2.2后需要指定JAVA的环境变量,由于集群使用的是Spark ON Yarn模式,所以文章中只需要在“客户端高级配置代码片段”中增加JAVA的环境变量。
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- 动态生成TreeView方法(二)
- Gradle打jar包如何上传到maven本地库
- POJO应用框架:Spring与EJB3.0的比较
- spring Boot 整合mybatis 如何使用多数据源
- 动态生成TreeView方法(一)
- hadoop系列之深入优化
- Using sqlite with .NET
- Gridview行上下移动自己做的一个小例子(第一种方法)
- Hadoop伪分布式集群安装部署
- sql 表有没有自增列,插入自增列值
- jsp中的JSTL与EL表达式用法及区别(二)
- WPF 给控件添加复制事作
- wpf RoutedUICommand 绑定
- jsp中的JSTL与EL表达式用法及区别(一)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 通过实际案例摸清楚Spring事务传播的行为
- 如何通过容器搭建稳定可靠的私有网盘(NextCloud)
- 初识ABP vNext(1):开篇计划&基础知识
- 基于 HTML5 Canvas 的病毒模拟视觉试验台
- #云开发高阶实战任务总结# 投票系统的解析与设计
- K8S 环境下的使用 ConfigMap 进行远程配置
- 腾讯云语音识别python-sdk使用笔记
- TKE部署ES如何配置参数vm.max_map_count
- Jquery validate remote 验证数据唯一
- MySQL 案例:乱码,字符集与错入错出的 MySQL
- Jenkins常用插件Copy Artifact的使用
- 聊聊dubbo-go的roundRobinLoadBalance
- 腾讯云录音文件识别请求和结果查询
- 【Kubernetes】kubectl top 如何使用
- js数组方法,常用数组Api的基本使用