一、Hive的简介和配置

　　1.简介

　　　　Hive是构建在Hadoop之上的数据操作平台l Hive是一个SQL解析引擎，它将SQL转译成MapReduce作业，并在Hadoop上运行Hive表是HDFS的一个文件目录，一个表名对应一个目录名，如果存在分区表的话，则分区值对应子目录名。

　　2.Hive的体系结构

　　　　Hive作为Hadoop的数据仓库处理工具，它所有的数据都存储在Hadoop兼容的文件系统中。Hive在加载数据的过程中不会对数据进行任何的修改，只是将数据移动到HDFS中Hive设置的指定目录下，因此，Hive不支持对数据的改写和添加，所有的数据都是在加载的时候设定的，Hive的设计特点如下:

　　　　　　　　 1.支持索引，加快数据查询

　　　　　　　　 2.不同的存储类型，例如:纯文本文件、HBase中的文件

　　　　　　　　 3. 将元数据保存在关系型数据库中，减少了在查询中执行语义的检查时间

　　　　　　　　 4. 可以直接使用存储在Hadoop文件系统中的数据

　　　　　　　　 5. 内置大量的用户UDF来操作时间，字符串和其他数据挖掘工具，支持用户扩展UDF来完成内置函数无法完成的操作

　　　　　　　　 6.类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoop集群上执行

　　　　　　　　 7.编码与Hadoop同样采用UTF-8

                                 

 　　　　　　

　　　　　　　　用户接口:

            　　　　　　① CLI：CLI启动的时候，会同时启动一个Hive副本

            　　　　　　② JDBC客户端：封装了Thrift，Java应用程序可以通过指定的主机和端口 连接到在另一个进程中的Hive服务

          　　　　　　  ③ WEB接口:通过浏览器访问Hive服务

     　　　　　　 Thrift服务器:

           　　　　　　 ① 基于Socket通讯，支持跨语言。Hive的Thrift服务简化了在多编程语言 中运行Hive命令，绑定支持C++,JAVA,PHP和Ruby语言。

      　　　　　　解析器:

            　　　　　　① 编译器：完成HQL语句的从词法分析、语法分析、编译优化以及执行计   划的生成。

        　　　　　　    ② 优化器：是一个演化组件，当前它的规则是：列修剪，谓词下压

           　　　　　　 ③ 执行器：会顺序执行所有的Job。如果Task链不存在依赖关系，可以采取   并发方式执行Job

   　　　　　　   元数据库:

        　　　　　　 ① Hive的数据由两部分组成：数据文件和元数据。元数据用于存放Hive库的基   础信息，它存储在关系型数据库中，如MySQL、Derby。元数据包括：数据库信息、表       的名字、表的列和分区及其属性，表的属性，表的数据所在目录等。

    　　　　　　  Hadoop:

       　　　　　　 ① Hive的数据文件存储在HDFS中，大部分的查询由MapReduce构成，不过对   于包含*的查询，比如select * from lbl不会生成MapReduce作业。

　　3.Hive的运行机制

　　　　 　　① 用户通过用户接口连接Hive，发布Hive SQL

          　　　　② Hive解析查询并制定查询计划

          　　　　③ Hive将查询转换为MapReduce作业

          　　　　④ Hive在Hadoop上执行MapReduce作业

　　4.Hive的优势　　　

　　　　1. 解决了传统关系数据库在大数据处理上的瓶颈，适合大数据的批量处理

　　　　2.充分利用集群的CPU计算资源、存储资源，实现并行计算

　　　　3.Hive支持标准SQL语法，免去了编写MR程序的过程。提升开发效率

　　　　4.具有良好的扩展性，拓展功能很方便

　　5.Hive的缺点　　

　　　　1.Hive的HQL表达能力有限：有些复杂运算HQL不易表达

　　　　2.Hive的效率低：Hive自动生成MR作业，通常不够智能；HQL调优困难，粒度较粗；可控性差

　　　　3.针对Hive运行效率低下等问题，促使人们去寻找一种更快，更具交互性的分析框架。SparkSQL的出现则有效的提高了Sql在Hadoop上的分析效率

　　6.Hive的配置(Lin集群)

　　　(1).Hive配置前的准备: 完整的hadoop集群; ssh免密登录;安装mysql数据库;安装java

　　　　(2).下载Hive的tar包 下载地址:http://mirror.bit.edu.cn/apache/hive/

　　　　(3).上传Hive到Linux系统上 #将压缩包解压到对应目录  tar -zxvf /usr/localhost/apache-hive-2.3.5-bin.tar.gz

　　　　　(4).#将解压的目录重命名为hive    mv apache-hive-2.3.5-bin/ hive　　　　　

　　　　(5).#设置hive的环境的变量   vim /etc/profile

　　　　(6).#编辑内容如下(在profile文件)

　　　　　　export HIVE_HOME=/usr/local/hive  (这个路径是自己将解压后的包解压后的位置)

　　　　　　export PATH=$PATH:$HIVE_HOME/bin

　　　　(7.)#刷新文件(保存后)   source /etc/profile
　　　　(8).#检查hive版本     hive --version
　　　　(9).Hive的配置
　　　　　　#切换到hive的配置文件目录
　　　　　　　　cd /usr/local/hive/conf/
　　　　　　#以模板复制一个hive-site.xml
　　　　　　　　cp hive-default.xml.template hive-site.xml
　　　　　　#编辑hive-site.xml文件
　　　　　　　　vim hive-site.xml
　　　　　　#将以下内容插入到hive-site.xml文件,其他内容替换
　　　　　　　　<property><!--数据库用户名-->
　　　　　　　　　　<name>javax.jdo.option.ConnectionUserName</name>
　　　　　　　　　　<value>root</value>
　　　　　　　　</property>
　　　　　　　　<property><!--数据块密码-->
　　　　　　　　　　<name>javax.jdo.option.ConnectionPassword</name>
　　　　　　　　　　<value>123456</value>
　　　　　　　　</property>
　　　　　　　　<property><!--连接字符串-->
　　　　　　　　　　<name>javax.jdo.option.ConnectionURL</name>
　　　　　　　　　　<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
　　　　　　　　</property>
　　　　　　　　<property><!--驱动类-->
　　　　　　　　　　<name>javax.jdo.option.ConnectionDriverName</name>
　　　　　　　　　　<value>com.mysql.jdbc.Driver</value>
　　　　　　　　</property>
　　　　　　　　<property>
　　　　　　　　　　<!--关闭数据库的版本检查-->
　　　　　　　　　　<name>hive.metastore.schema.verification</name>
　　　　　　　　　　<value>false</value>
　　　　　　　　</property>

　　　　(9).接下来将mysql的数据库驱动包放置到hive下的lib目录中
　　　　　　　　初始化Hive元数据
　　　　　　　　　　schematool -dbType mysql -initSchema

　　　　(10).beeline连接操作  (找到hadoop的路径在相应的文件下修改以下下文件)

　　　　　　　　　　hdfs-site.xml文件
　　　　　　<property>
　　　　　　　　<name>dfs.webhdfs.enabled</name>
　　　　　　　　<value>true</value>
　　　　　　</property>
　　　　　　　　core-site.xml文件
　　　　　　<property>
　　　　　　　　<name>hadoop.proxyuser.root.hosts</name>
　　　　　　　　<value>*</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>hadoop.proxyuser.root.groups</name>
　　　　　　　　<value>*</value>
　　　　　　</property>

　　　(11).使用scp命令发送到slave1与slave2两台节点上，

　　　　　　scp hdfs-site.xml core-site.xml root@slave1:/usr/local/hadoop-2.8.0/etc/hadoop/
　　　　　　scp hdfs-site.xml core-site.xml root@slave2:/usr/local/hadoop-2.8.0/etc/hadoop/
　　　(12).hdfs namenode -format 重启服务 格式化namenode节点 (利用dbvis操作hive)
　　　　　　------------------------hiveserver2打开服务
　　　　　　　　hiveserver2
　　　　　　------------------------beeline连接
　　　　　　　　beeline
　　　　　　　　!connect jdbc:hive2://master:10000
　　　　　　　　------------------------安装dbvis

　　　(13).注意事项

　　　　　　在格式化hadoop集群时 从起hadoop会发现dataName没有启动成功

　　　　　　解决办法: 进入hadoop的安装路径 找到 etc/hadoop 查看hadoop的tmp文件路径然后进入

                  

 　　　　　　进入红色圈中的文件夹

　　　　　　

 　　　　　　复制标红的哪一行代码 到从节点的相同目录文件下 覆盖原有的一行

　　　　　　

　　　　　　从起集群即可解决

 

原文地址：https://www.cnblogs.com/wuxuewei/p/11465825.html