[Hadoop大数据]——Hive初识
时间:2022-04-22
本文章向大家介绍[Hadoop大数据]——Hive初识,主要内容包括Hive出现的背景、Hive能够解决的问题、执行原理、Hive的缺点、适合的场景、其他、暂时的疑问!!、Hive中的数据类型与文件格式、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
Hive出现的背景
Hadoop提供了大数据的通用解决方案,比如存储提供了Hdfs,计算提供了MapReduce思想。但是想要写出MapReduce算法还是比较繁琐的,对于开发者来说,需要了解底层的hadoop api。如果不是开发者想要使用mapreduce就会很困难....
另一方面,大部分的开发者都有使用SQL的经验。SQL成为开发者必备的技能...
那么可以不可以使用SQL来完成MapReduce的过程呢?—— 答案就是,Hive
Hive能够解决的问题
Hive可以帮助开发者从现有的数据基础架构转移到Hadoop上,而这个基础架构是基于传统关系型数据库和SQL的。Hive提供了Hive查询语言,即HQL,它可以使用SQL方言查询存储在hadoop中的数据。
执行原理
Hive本身不会生成java的mapreduce程序,而是通过XML文件 驱动执行内置的、原生的Mapper和Reducer。
Hive的缺点
- 1 不支持记录级别的更新、插入或者删除
- 2 查询延迟比较严重
- 3 不支持事务
如果想要基于SQL还想具有上面的特性,可以直接使用hadoop提供的nosql数据库——HBase
适合的场景
Hive适合做 数据仓库 应用程序,可以维护海量数据,对数据进行挖掘,形成意见和报表。
其他
同类型的工具就是Pig
暂时的疑问!!
1 HQL是如何变成MapReduce算法的?
2 平时HQL都是怎么使用的?——最佳实践
Hive中的数据类型与文件格式
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法