spark入门(2.0.1版本):概述,下载,编译,运行环境及实例运行
问题导读 1.spark下载方式有哪些? 2.spark可以运行在哪些系统? 3.spark支持哪些语言? 4.如何运行spark各种语言版本例子? 概述 spark是一个快速通用的计算系统集群。它提供Java高级APIs,Scala,Python和R和一个支持通用执行graphs优化引擎。他还支持一组丰富的高级工具包括spark sql和结构化数据处理,mllib机器学习, GraphX图像处理和Spark Streaming. 下载 下载链接:http://spark.apache.org/downloads.html 当前最新版本2.0.1 1.通过maven下载 spark托管在maven中央库,可以通过下载依赖下载
[Bash shell] 纯文本查看 复制代码
groupId: org.apache.spark
artifactId: spark-core_2.11
version: 2.0.1
2.通过git下载
[Bash shell] 纯文本查看 复制代码
# Master development branch
git clone git://github.com/apache/spark.git
# 2.0 maintenance branch with stability fixes on top of Spark 2.0.1
git clone git://github.com/apache/spark.git -b branch-2.0
3.直接下载安装包 spark-2.0.1-bin-hadoop2.7.tgz 网盘下载: https://yunpan.cn/cvmIFgVAajIw4 访问密码 7943 编译 如果你想编译源码,可以访问http://spark.apache.org/docs/latest/building-spark.html spark运行系统 spark运行在window和类UNIX系统(比如Linux, Mac OS),在一台机器上运行是很容易的。前提是必须按照Java,并且配置path或则JAVA_HOME spark运行语言API版本要求 Spark运行在 Java 7+, Python 2.6+/3.4+ 和R 3.1+. 比如 Scala API, Spark 2.0.1使用 Scala 2.11.你需要使用兼容Scala version (2.11.x). 运行例子和shell spark有附带的几个例子。在目录 examples/src/main包括Scala, Java, Python 和R 例子。运行Java 或则Scala例子程序, 使用bin/run-example <class> [params]在顶级目录.例如:
[Bash shell] 纯文本查看 复制代码
./bin/run-example SparkPi 10
你可以运行spark通过 Scala shell,这是一个很好的方法学习框架
[Bash shell] 纯文本查看 复制代码
./bin/spark-shell --master local[2]
--master选项指定分布式集群的 master URL 或则本地运行一个线程,或则local[N] 运行本地几个线程。你可以开始使用local测试。所有选项列表,可以使用 --help 选项. spark也提供了Python API,使用Python脚本运行spark,使用 bin/pyspark:
[Bash shell] 纯文本查看 复制代码
./bin/pyspark --master local[2]
应用程序也提供了Python例子,例如
[Bash shell] 纯文本查看 复制代码
./bin/spark-submit examples/src/main/python/pi.py 10
自从1.4(仅包括DataFrames APIs),spark也提供了R例子。使用R脚本运行spark,使用bin/sparkR:
[Bash shell] 纯文本查看 复制代码
./bin/sparkR --master local[2]
应用程序也提供了R例子,例如
[Bash shell] 纯文本查看 复制代码
./bin/spark-submit examples/src/main/r/dataframe.R
- 苹果刻意降低旧 iPhone 效能的做法,或在法国面临刑事检控
- maven常用插件: 打包源码 / 跳过测试 / 单独打包依赖项
- 通过SmtpClient发送Exchange会议邮件
- Microsoft training Kits
- C#与yaml解析
- WordPress中的jQuery库不起作用的相关问题
- 人工智能时代家长不必做“虎妈”
- WCF 消息帧格式
- C#以post方式调用struts rest-plugin service的问题
- Web前端开发初级阶段需要学习的知识有哪些?
- 作为TensorFlow的底层语言,你会用C+构建深度神经网络吗?
- 企业应用中使用Silverlight 3
- oracle:db-link使用
- 5个炫酷的Python工具,你都用过么?
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- openGaussDB 初体验(下)
- openGaussDB 初体验(上)
- 用python画出你的童年回忆
- [项目总结] 为某银行开发一个开业线上活动的H5网站
- 一文讲透 “进程、线程、协程”
- Qt音视频开发4-vlc读取和控制
- Glide 缓存总结(一)
- 2020 年 7 月编程语言排行榜
- 深度学习-Faster RCNN论文笔记
- python数据库编程。
- ggplot2饼图和图注顺序不一致如何解决
- 基因集富集分析(Gene Set Enrichment Analysis, GSEA)
- R绘制甲基化和表达谱联合分析热图
- Python字符串操作--寻找所有匹配的位置
- java设计模式-工厂模式