CentOS6.8_Spark单机部署

时间:2022-05-07
本文章向大家介绍CentOS6.8_Spark单机部署，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。
首先需要JDK
下载安装JDK
下载spark
wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz
创建安装目录
mkdir /software
移动安装文件到新建目录
mv ./spark-1.6.3-bin-hadoop2.6.tgz /sortware/
切换目录
cd /software
解压
tar xzvf spark-1.6.3-bin-hadoop2.6.tgz
cd spark-1.6.3-bin-hadoop2.6.tgz
pwd
复制打印出来的地址
修改配置文件 conf/
mv spark-env.sh.template spark-env.sh

我们默认安装不用修改目录

配置环境变量 vim /etc/profile
export SPARK_HOME=/software/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使环境变量生效

source /etc/profile

执行测试
spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar

随机文章
本站知识点必读
最近更新