hive常用基本操作(同步表,创建视图,修复元数据metastore)
时间:2021-09-13
本文章向大家介绍hive常用基本操作(同步表,创建视图,修复元数据metastore),主要包括hive常用基本操作(同步表,创建视图,修复元数据metastore)使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1,创建(外部)表:
CREATE EXTERNAL TABLE `hive_user_reader`(
`read_src` string COMMENT '阅读来源',
`source_id` string COMMENT '来源ID',
`app_version` string COMMENT '端版本号')
COMMENT '阅读书籍表'
PARTITIONED BY (
`dt` string COMMENT '时间-天',
`log_flag` string COMMENT '日志标记')
STORED AS PARQUET
2 ,对hive表的修改(改为内部表,添加字段,修改字段)
:设置为内表 alter table hive_user_reader set TBLPROPERTIES('EXTERNAL'='false') :添加字段 alter table hive_user_reader add columns (字段名 字段类型 comment '字段描述') cascade; eg: alter table table_name add columns (now_time varchar(300) comment '当前时间'); :修改字段 alter table hive_user_reader change id app_version varchar(300); :删除app_version列 ALTER TABLE hive_user_reader REPLACE COLUMNS ( read_src,source_id) :修复分区表 msck repair table bi_hive_db.hive_user_reader
3,拷贝表从远程集群到本地(跨集群),拷贝完后记得修复分区表 【如果没有队列则不要:-Dmapred.job.queue.name=root.bi_qipu.p1】
hadoop distcp -Dmapred.job.queue.name=root.bi_qipu.p1 hdfs://namenode02-jj:8020/hive/warehouse/jin_warehouse_dwd.db/hive_user_reader /hive/warehouse/jin_warehouse_dwd.db/hive_user_reader
4,拷贝从远程集群到本地(同集群),拷贝完后记得修复分区表 【如果没有队列则不要:-Dmapred.job.queue.name=root.bi_qipu.p1】
拷贝 jin_warehouse_dim.db/hive_user_reader/ 下的所有分区 到 jin_warehouse_dwd.db/hive_user_reader/ 下
hadoop distcp -Dmapred.job.queue.name=root.bi_qipu.p1 /hive/warehouse/jin_warehouse_dim.db/hive_user_reader/ /hive/warehouse/jin_warehouse_dwd.db/hive_user_reader/
5,创建视图
CREATE or REPLACE VIEW bi_hive_bi_al_v.hive_user_reader_view COMMENT '用户实体数据' AS SELECT * FROM bi_hive_db.hive_user_reader;
原文地址:https://www.cnblogs.com/pengtaotao/p/15264561.html
- Oracle数据库(一)概述、基础与简单操作
- Oracle数据库(二)常用关键字以及函数
- Oracle数据库(三)表操作,连接查询,分页
- 正式学习第一天下午——基础标签及其属性
- 正式学习第二天上午——常用标签及列表 0605
- Java之面向对象例子(三) 多态,重写,重载,equals()方法和toString()方法的重写
- Java之IO流补充
- JavaWeb 例子 JDBC+JSP登陆注册留言板
- 基于bro的计算机入侵取证实战分析
- 如何用HERCULES绕过杀软
- 纯JSP实现用户登录注册,记事本
- Java常见问题
- JavaWeb(一)JSP原理,组成
- JavaWeb(二)jsp运行原理,九大内置对象
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法