Kylin的安装及遇到的问题
************************************************************************************************
首先,这是我博客园的第一篇记录,终于加入了分享的队伍,恭喜自己!!
************************************************************************************************
以下正文:
工作原因,最近开始学习Kylin,关于Apache Kylin的介绍可以参见中文官网:
1 http://kylin.apache.org/cn/
本篇主要记录一下Kylin的安装及我遇到的问题。
首先,Kylin的下载安装很简单,可以参考官网安装文档:
1 http://kylin.apache.org/cn/docs/install/index.html
其中包含了JDK,Hadoop,Hive,HBase等相关组件的版本要求,硬件要求以及安装步骤。
如果是在已有JDK,Hadoop,Hive,HBase的环境下,最好先根据现有环境的组件版本去官网确定要使用的Kylin版本,然后再下载。
官网下载地址:
1 http://kylin.apache.org/cn/download/
下载,解压,配置环境变量后,根据安装文档的指导运行环境检测文档:
$KYLIN_HOME/bin/check-env.sh
如果您的环境存在任何的问题,脚本将打印出详细报错信息。如果没有报错信息,代表您的环境适合 Kylin 运行。
环境检测时我遇到了几个HDFS权限问题:
于是天真的我手动创建了该路径:
sudo -u hdfs hadoop fs -mkdir /kylin
让我意外的是,之后出现了另一个同样的问题:
我居然之前居然以为只会创建一个路径而没有其他写操作,真不知道当时怎么想的。
打开check-env.sh来看,创建路径的命令为:
hadoop ${hadoop_conf_param} fs -mkdir -p ...
后面还有几个类似的行,将命令改为:
sudo -u hdfs hadoop ${hadoop_conf_param} fs -mkdir -p ...
即可解决。
OK,至此环境检测完成。
下一步,启动Kylin
sudo ./kylin.sh start
新的问题出现了:
问题出现在find-hive-dependency.sh中,把 hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH'` 这一行注释掉,加入下面几行:
hive -e set >/tmp/hive_env.txt 2>&1 hive_env=`grep 'env:CLASSPATH' /tmp/hive_env.txt` hive_env=`echo ${hive_env#*env:CLASSPATH}` hive_env="env:CLASSPATH"${hive_env}
问题解决,原因应该是管道符,前面命令输出的字符长度有限,详情请参见:
https://www.cnblogs.com/langfanyun/p/10407881.html
再次启动Kylin
没错
新问题:
在kylin.properties中kylin.env.hadoop-conf-dir的默认值为/etc/hadoop/conf,导致启动Kylin在检查Hive,HBase的依赖配置文件时找不到相关文件,所以需要根据自己的情况修改路径。
第三次启动Kylin
报错
Permission denied: user=root, access=WRITE, inode="/user":hdfs:hdfs:drwxr-xr-x
解决方法:
$ hdfs dfs -mkdir /user/root $ hdfs dfs -chown root:root /user/root
第四次启动Kylin
终于,启动成功~~
原文地址:https://www.cnblogs.com/Urey-MY/p/11961468.html
- linux下mysql函数的详细案列
- Java集合深度解析之Hashtable
- linux 下mysql的安装,并设置必要的密码
- golang使用protobuf
- hdu 3518 (后缀数组)
- hdu ----3695 Computer Virus on Planet Pandora (ac自动机)
- 编程之美----NIM游戏
- hdu----1686 Oulipo (ac自动机)
- C++ GPU && CPU
- MyCat安装与测试教程 超详细!
- 关于如何来构造一个String类
- Java集合深度解析之LinkedList
- 2015编程之美(资格赛)--基站选址
- CentOS7下Nginx服务器安装与使用教程
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 哈希表:其实需要哈希的地方都能找到map的身影
- 哈希表:这道题目我做过?
- 哈希表:解决了两数之和,那么能解决三数之和么?
- 双指针法:一样的道理,能解决四数之和
- 【python-opencv】轨迹栏作为调色板
- springBoot 线程池异步编程
- MPU6050姿态解算2-欧拉角&旋转矩阵
- 【python-opencv】图像的基本操作
- 3 分钟生成一个单元测试报告,这个样式爱了
- 拼多多的底层逻辑
- 详解ELF重定向原理
- 干货 | 携程基于Quasar协程的NIO实践
- 【python-opencv】图像上的算术运算
- 个人珍藏的80道多线程并发面试题(11-20答案解析)
- 【python-opencv】性能衡量和提升技术