[喵咪大数据]Hive2搭建和基本操作
[喵咪大数据]Hive2搭建
说到Hadoop生态有一个不得不提的组件那就是<Hive>,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总,大大减少了早期需要使用MapReduce编程的烦扰,今天就和笔者一起来探索Hive的实际应用场景吧.
附上: HIVE官网地址:Apache Hive TM 喵了个咪的博客:w-blog.cn
1.环境配置
hadoop集群环境需要提前配置好,可以在master上进行搭建也可以单独一台机器进行搭建这里使用一台独立的centos7.X 64位服务器进行Hive服务搭建并且连接到之前的Hadoop集群
通过oneinstack配置环境
> mkdir -p /app/install && cd /app/install
> wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz
> tar -zxvf oneinstack-full.tar.gz
# 安装选择mysql5.7 密码为 hive666
> cd oneinstack && ./install.sh
关闭防火墙(端口通讯会被拦截)
> systemctl stop firewalld.service # 关闭firewall
> systemctl disable firewalld.service # 禁止firewall开机启动
分别修改服务器的主机名
# 最后主机名会全小写状态显示
> hostnamectl set-hostname hive
修改服务器的host 和hadoop节点建立关联
> vim /etc/hosts
192.168.1.101 hadoop-1
192.168.1.102 hadoop-2
192.168.1.103 hadoop-3
使用 Hive 需要Java 和 hadoop 环境 我们从之前的 hadoop-1 把相对应的包复制过来
> scp -r /usr/local/jdk1.8 root@192.168.1.104:/usr/local/jdk1.8
> scp -r /usr/local/hadoop-2.7.3 root@192.168.1.104:/usr/local/hadoop-2.7.3
增加java和hadoop的环境变量
# java
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=/usr/local/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
# hadoop
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
准备hive软件包 之后需要Hive和Hbase进行结构上的管理和与Spark关联进行查询上的效率提高这里选用Hive2.3.0版本
apache-hive-2.3.0-bin.tar.gz
创建hadoop用户
> useradd -m hadoop -s /bin/bash
> passwd hadoop
2.安装配置
安装HIVE
解压安装Hive
> cd /app/install
> tar -zxvf apache-hive-2.3.0-bin.tar.gz
> mv apache-hive-2.3.0-bin /usr/local/hive-2.3.0
设置 Hive环境变量
> vim /etc/profile
# hive
export HIVE_HOME=/usr/local/hive-2.3.0
export PATH=$PATH:$HIVE_HOME/bin
# 让配置生效
> source /etc/profile
配置Hive2.X
配置文件重命名 在运行 Hive 之前需要使用以下命令修改配置文件:
> cd /usr/local/hive-2.3.0/conf
> cp hive-env.sh.template hive-env.sh
> cp hive-default.xml.template hive-site.xml
> cp hive-log4j2.properties.template hive-log4j2.properties
> cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
修改hive-env.sh因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径:
> vim hive-env.sh
export JAVA_HOME=/usr/local/jdk1.8 ##Java路径
export HADOOP_HOME=/usr/local/hadoop-2.7.3 ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive-2.3.0 ##Hive安装路径
export HIVE_CONF_DIR=/usr/local/hive-2.3.0/conf ##Hive配置文件路径
在hive机器切换到hadoop用户创建hive数据存放目录
> su hadoop
# 创建HDFS目录
> hdfs dfs -mkdir -p /hive
> hdfs dfs -chmod 777 /hive
> hdfs dfs -mkdir -p /hive/warehouse
> hdfs dfs -mkdir -p /hive/tmp
> hdfs dfs -mkdir -p /hive/log
> hdfs dfs -chmod 777 /hive/warehouse
> hdfs dfs -chmod 777 /hive/tmp
> hdfs dfs -chmod 777 /hive/log
一些复杂的查询或操作会使用的MR程序,应为执行MR程序需要tmp目录中的yarn权限所有如果不是以hadoop用户权限执行不然会有如下异常
org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn/staging/hive/.staging":hadoop:supergroup:drwx------
# 解决方式
> hdfs dfs -chmod -R 777 /tmp
将 hive-site.xml 文件中以下几个配置项的值设置成上一步中创建的几个路径。
> vim /usr/local/hive-2.3.0/conf/hive-site.xml
<property>
<name>hive.exec.scratchdir</name>
<value>/hive/tmp</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/hive/log</value>
<description>Location of Hive run time structured log file</description>
</property>
Hive Metastore
默认情况下, Hive 的元数据保存在内嵌的 Derby 数据库里, 但一般情况下生产环境会使用 MySQL 来存放 Hive 元数据。 创建数据库和用户 假定你已经安装好 MySQL。下面创建一个 hive 数据库用来存储 Hive 元数据,且数据库访问的用户名和密码都为 hive。
mysql -u root -p
mysql> CREATE DATABASE hive;
mysql> USE hive;
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> quit;
修改hive-site.xml需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息。
> vim /usr/local/hive-2.3.0/conf/hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
初始化Hive
在命令行运行 hive 命令时必须保证以下两点: HDFS 已经启动。 MySQL Java 连接器添加到 $HIVE_HOME/lib 目录下。我安装时使用的是 mysql-connector-java-5.1.42.jar。
> cd /usr/local/hive-2.3.0/lib
> wget http://download.softagency.net/mysql/Downloads/Connector-J/mysql-connector-java-5.1.42.zip
> unzip mysql-connector-java-5.1.42.zip
> cp mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar /usr/local/hive-2.3.0/lib/
> rm -rf mysql-connector-java-5.1.42.zip
从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。
schematool -dbType mysql -initSchema
最后会输出
schemaTool completed
我们可以通过数据库查看终端查看hive库中已经存在部分内容 要使用 Hive CLI(Hive command line interface), 可以在终端输入以下命令:
hive> show tables;
OK
Time taken: 0.839 seconds
如果报出异常
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
需要将 hive-site.xml 中的 ${system:java.io.tmpdir} 和 ${system:user.name} 分别替换成 /tmp 和 ${user.name}
3.基本操作
创建库
CREATE DATABASE语句
// 创建库如果存在则不创建
CREATE DATABASE IF NOT EXISTS userdb;m
// 创建数据库如果存在则会报错
CREATE SCHEMA userdb;
下面的查询用于验证数据库列表:
hive> SHOW DATABASES;
default
userdb
删除数据库
// 删除库如果存在则不删除
DROP DATABASE IF EXISTS userdb;
// 删除数据库必须要删除完其中的表草能删除
DROP DATABASE IF EXISTS userdb CASCADE;
// 删除数据库
DROP SCHEMA userdb;
选择数据库
USE userdb;
Hive创建表
最简单的方式创建表
CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String);
通过COMMENT可以增加一个备注可以给整表或字段
CREATE TABLE IF NOT EXISTS employee ( eid int COMMENT 'eid details', name String, salary String, destination String)
COMMENT 'Employee details';
CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String)
COMMENT 'Employee details'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
STORED AS TEXTFILE;
通过TERMINATED可以指定了字段的分隔符为t分列是n,所以load数据的时候,load的文本也要为t分隔n分行,否则加载后为NULL。hive只支持单个字符的分隔符,hive默认的分隔符是 01
存储类型Hive具有三类自带存储类型TEXTFILE和SEQUENCEFILE,RCFILE可以通过STORED指定
- TEXTFIEL:默认格式,数据不做压缩,磁盘开销大,数据解析开销大。
- SEQUENCEFILE:SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。
- RCFILE:RCFILE是一种行列存储相结合的存储方式。首先,其将数据按行分块,保证同一个record在一个块上,避免读一个记录需要读取多个block。其次,块数据列式存储,有利于数据压缩和快速的列存取。RCFILE文件示例: 相比TEXTFILE和SEQUENCEFILE,RCFILE由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE相比其余两种格式具有较明显的优势
下面的查询用于查看当前库表列表:
hive> SHOW TABLES;
OK
employee
查看表信息
desc formatted employee;
desc employee;
删除表
DROP TABLE IF EXISTS employee;
Alter Table 语句
修改表名称
ALTER TABLE employee RENAME TO emp;
Change 语句
修改字段名称和字段类型
# 修改name为ename 类型不变还是String
ALTER TABLE employee CHANGE name ename String;
# 修改salary名称不变 类型修改为Double
ALTER TABLE employee CHANGE salary salary Double;
增加了一个列名dept在employee表中
ALTER TABLE employee ADD COLUMNS ( dept STRING COMMENT 'Department name');
插入数据
重新创建employee表,在本地文件系统准备文本sample.txt
vim /home/hive/sample.txt
1201 Gopal 45000 Technicalmanager
1202 Manisha 45000 Proofreader
1203 Masthanvali 40000 Technicalwriter
1204 Kiran 40000 HrAdmin
1205 Kranthi 30000 OpAdmin
加载给定文本插入表中(LOAD DATA只是把文件复制到指定的目录下,多次操作只会保留最后一次)
LOAD DATA LOCAL INPATH '/home/hive/sample.txt'
OVERWRITE INTO TABLE employee;
插入单条数据(消耗时间很长,可以结合Hbase来达到实时增加数据)
INSERT INTO TABLE employee values(12,"1","1","1");
查询是否插入成功
select * from employee;
OK
12 1 1 1
1201 Gopal 45000 Technicalmanager
1202 Manisha 45000 Proofreader
1203 Masthanvali 40000 Technicalwriter
1204 Kiran 40000 HrAdmin
1205 Kranthi 30000 OpAdmin
Time taken: 0.063 seconds, Fetched: 5 row(s)
Select
相关查询操作可以参考
HiveQL Select Order By - Hive教程™
HiveQL Select Group By - Hive教程™
4 总结
Hive可以以结构化的方式来存储数据还可以使用SQL的方式来检索出你所需要的数据集给开发人员带来了不少方便,但是Hive也存在问题,单条记录增加繁琐,速度相对比较慢,但是在Hadoop生态中还有一个大家经常使用到的组件那就是Hbase,下节我们就一同来学习Hbase的使用.
注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!
- Java同步问题面试知识学习
- Android UI控件系列:LinearLayout(线性布局)
- 使用操作符重载,生成ORM实体类的SQL条件语句
- Dance In Heap(四):一些堆利用的方法(下)
- Mac系统的Proton恶意软件:卷!土!重!来!
- Erlang语言学习入门
- Android使用Ant进行apk多渠道打包
- Dance In Heap(三):一些堆利用的方法(中)
- Android性能优化篇:使用软引用和弱引用
- 使用泛型委托,构筑最快的通用属性访问器
- 记录容易忘记的方法
- 无需重新编译代码,在线修改表单
- 使用反射+缓存+委托,实现一个不同对象之间同名同类型属性值的快速拷贝
- 结构变量作为方法的参数调用,在方法内部使用的“坑”你遇到过吗?
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Fence Repair (PKU 3253)
- JAVA 初学者的编码规范一:命名风格与代码格式
- Leetcode No.11 盛最多水的容器
- OpenCV图像拼接函数vconcat()&hconcat()
- JAVA自定义注解
- [ 物联网篇 ] 28 - Linux ES7210 Driver 调试
- [ 利器篇 ] - Microsoft Surface Pro 系列安装 Ubuntu 16.04 系统
- 如何优雅的打造 All-in One 仓库
- matplotlib绘图教程:设置标签与图例
- 企业是如何从头开发一个商业项目的?
- 基于Haproxy的高可用实战
- 组复制常规操作-分布式恢复 | 全方位认识 MySQL 8.0 Group Replication
- 赞!7000 字学习笔记,MySQL 从入到放弃
- 面试官问我Volatile的原理?从操作系统层面的设计怼回去!
- 设计原则之单一职责