Spark集群安装方式2 原
环境: jdk1.8、hadoop-2.7、spark-1.6、三台centos7(如下List-1所示)
List-1 如下30上部署master;31上部署worker1;32上部署worker2
192.168.33.30 master
192.168.33.31 worker1
192.168.33.32 worker2
将jdk1.8、hadoop-2.7、spark-1.6文件夹放到三台机器的/opt下
修改spark的conf下的spark-env.sh文件(如果不存在,则cp spark-env.sh.template spark-env.sh),修改为如下List-2,这个修改三台机器上都要做:
List-2
export JAVA_HOME=/opt/jdk1.8
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.7/bin/hadoop classpath);
为什么List-2中需要将hadoop的classpath加入到其中,是因为spark自1.4之后,编译都是没有将hadoop的classpath编译进去的,所以必须在spark-env.sh中指定hadoop中的所有jar包。
在master机器上,spark安装目录,执行如下,之后在控制台就会打印出一些日志,从日志中可以看到master url和MasterWebUI
List-3
/bin/spark-class org.apache.spark.deploy.master.Master
在worker1/worker2,spark安装目录,执行如下,之后看MasterWebUI就会看到worker加入进去了
List-4
/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.33.30:7077
到此我们的集群启动完成了。
接下来介绍另一种启动方式:
在master的spark安装目录下,执行如下,查看日志/opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out,可以看到master url和masterWebUrl:
List-5
[root@master spark-mjduan]# sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
在workerr1/worker2上,spark安装目录,执行如下:
List-6
[root@node2 spark-mjduan]# sbin/start-slave.sh spark://192.168.33.30:7077
starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-node2.out
之后看masterWebUrl,可以看到集群信息了。
(adsbygoogle = window.adsbygoogle || []).push({});
- 快速入门系列--深入理解C#
- “家庭贷款”域名Home.loans已经建站为家庭贷款相关的网站
- 微信亿级用户异常检测框架的设计与实践
- 程序员必知的6点编程秘诀,编程三板斧将解决90%问题!
- JavaScript之面向对象学习三原型语法升级
- 腾讯入局物业管理,欲改造传统服务?
- JavaScript之面向对象学习五(JS原生引用类型Array、Object、String等等)的原型对象介绍
- SQL学习之分组数据Group by
- SQL学习之数据列去空格函数
- 采用DIV+CSS布局对SEO优化有何好处?
- Sublime快速入门
- SQL学习之汇总数据之聚集函数
- Sedo榜单中,域名“加密世界”CryptoWorld.com七位数夺冠
- ExtJs学习笔记(20)-利用ExtJs的Ajax与服务端WCF交互
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法