Alluxio集群部署整合CDH(Hive/Spark)
时间:2020-05-28
本文章向大家介绍Alluxio集群部署整合CDH(Hive/Spark),主要包括Alluxio集群部署整合CDH(Hive/Spark)使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Linux环境:centos7.4
CDH:5.16.1
Java:1.8.0_131
Alluxio:2.3.0
编译
此处不再赘述,详见 https://www.cnblogs.com/daemonyue/p/12975286.html
修改配置文件
cp conf/alluxio-site.properties.template conf/alluxio-site.properties
vim alluxio-site.properties
vim masters
vim workers
集群
复制文件夹到每台机器
各个机器alluxio用户相互之间免密登陆
软连接配置
为每个机器设置java软连接,需要在这些目录其中之一配置软连接
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/spark/bin:/opt/spark/sbin:/root/bin
如果配置好了可以忽略,否则:
ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java
如果这里没有配置好的话,后面步骤就会出现如下错误
Error: Cannot find 'java' on path or under $JAVA_HOME/bin.
启动 Alluxio
创建ramdisk文件夹
之前配置的文件夹路径,需要先手动创建出来
format
./bin/alluxio format
启动
./bin/alluxio-start.sh all Mount
如果是root用户起的,使用Mount,如果是非root用户起的,用SudoMount。第一次需要这样,之后启动直接./bin/alluxio-start.sh all就可以
经过比较长时间的等待,启动完成
查看web端
使用Alluxio
这里可以把它理解为简单的文件系统,操作这个文件系统和hdfs非常相似
./bin/alluxio fs 操作命令
比如:
./bin/alluxio fs mkdir /test
原文地址:https://www.cnblogs.com/daemonyue/p/12979054.html
- ScintillaNET 需要帮助
- Windows Live Writer工具
- WPF/XML 资源及相关开源项目
- Android应用底部导航栏(选项卡)实例
- 有关 ASMX 2.0、WSE 3.0 和 WCF 的内容
- 微信小程序游戏其实一般,我也就站在寒风里玩了一个小时
- beagle MONO 应用的desktop search
- Python3与OpenCV3.3 图像处理(一)-环境搭建与简单DEMO
- winform中利用正则表达式得到有效的电话/手机号
- 浅述RDF,畅想一下FOAF应用
- 数据源控件参数类Parameter
- 我们来继续研究 mybatis 框架sql映射文件的属性
- 开源.NET邮件服务器
- 次次获得《头脑王者》满分的秘诀
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Go语言(golang)新发布的1.13中的Error Wrapping深度分析
- 使用k8s容器钩子触发事件
- Python自学成才之路 魔术方法之属性访问控制
- Python自学成才之路 彻底搞懂python变量作用域
- Python自学成才之路 什么是元类
- 调试 Go 的代码生成
- Kubernetes中的Volume介绍
- Python自学成才之路 终于弄清楚类方法,静态方法的区别了
- Git 版本及版本范围表示法
- python自学成才之路 numpy 基础
- python自学成才之路 文件读写操作
- go 中string[0]到底是rune还是byte?
- python自学成才之路 类详细用法
- Linux 监控之 IO
- python自学成才之路 函数详细用法