Hadoop Hive Hbase Kylin 环境搭建

# 安装版本
| SoftWare      | Version       |
| ------------- |:-------------:|
| JDK           | 1.8           |
| Hadoop        | 2.7.3         |
| Hive          | 2.1.1         |
| Hbase         | 1.3.0         |
| MySQL         | 5.7.17        |
| Kylin         | 1.6.0         |

以上全部运行、大概至少需要2GB内存

一、搭建Hadoop环境

1. 安装JDK(1.8)
   • http://www.oracle.com/technetwork/java/javase/downloads/index.html
   • 下载地址
   • 配置环境变量。

   JAVA_HOME, JRE_HOME, 以及PATH

2. 下载Hadoop(2.7.3)
   • http://hadoop.apache.org/releases.html
   • 下载地址

   # hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <configuration> <!-- 指定HDFS老大（namenode）的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp</value> </property> </configuration> # hdfs-site.xml 配置 <configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

二、搭建Hive环境

1. 安装mysql(5.7.17)
   • https://dev.mysql.com/downloads/mysql/
   • 下载地址
   • 该版本推荐使用ssl, 否则会有警告, 暂时忽略... (&useSSL=false)
2. 安装Hive(2.1.1)
   • hive需要创建一个叫“元数据库”的东西，需要一个数据库来支持，比如MySQL
   • 由于使用MySQL. 需要在hive的 lib文件夹中，添加 “mysql-connector-java-xxx.jar”

   # hive-env.sh 配置 HADOOP_HOME=/usr/hadoop-2.7.3 # 创建一个 hive-site.xml 文件 # 其实就是比 hive-default.xml 优先级高一些的子集 # 主要配置 MySQL 数据库连接 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration> # 可以~~~ cp hive-default.xml.template hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties

3. 然后，需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema

三、搭建Hbase环境

1. 安装Hbase(1.3.0)
   • http://hbase.apache.org/
   • 下载地址
   • 此版本自带Zookeeper

   # 设置环境变量 hbase-env.sh export JAVA_HOME=/usr/jdk1.8.0_121/ # Extra Java CLASSPATH elements. Optional. export HBASE_CLASSPATH=/usr/hadoop-2.7.3/etc/hadoop # 是否使用自带Zookeeper export HBASE_MANAGES_ZK=true # 设置 hbase-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/lpe234/hbase-tmp</value> </property> </configuration>

四、搭建Kylin环境

1. 安装Kylin(1.6.0)
   • http://kylin.apache.org/docs/install/index.html
   • 下载地址

   # 配置大体无需修改 # 但是需要设置一下环境变量(PATH....) # /etc/profile (source /etc/profile) # 增加如下内容 export JAVA_HOME=/usr/jdk1.8.0_121/ export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export HADOOP_HOME=/usr/hadoop-2.7.3 export HIVE_HOME=/usr/hive-2.1.1 export HIVE_CONF=/usr/hive-2.1.1/conf/ export HCAT_HOME=/usr/hive-2.1.1/hcatalog/ export HBASE_HOME=/usr/hbase-1.3.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH export KYLIN_HOME=/usr/apache-kylin-1.6.0-hbase1.x-bin

五、启动

# MySQL 启动
service mysql restart
# Hadoop 启动
hadoop-2.7.3/sbin/stop-all.sh
hadoop-2.7.3/sbin/start-all.sh
# Hive 启动
# 无需启动 hive-2.1.1/bin/hive
# Hbase 启动
hbase-1.3.0/bin/stop-hbase.sh
hbase-1.3.0/bin/start-hbase.sh
# Kylin 启动
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh stop
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start

# 然后就可以了~~~
Please visit http://<ip>:7070/kylin 
The username/password is ADMIN/KYLIN

参考资料

• http://blog.csdn.net/windghoul/article/details/52655032
• http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation