如何删除hive表格的分区

时间:2019-03-15
本文章向大家介绍如何删除hive表格的分区,主要包括如何删除hive表格的分区使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

今天的一个业务场景就是要把三年的数据从第一天不停的融合起来,每一天作为表格一个新的分区。由于空间有限,数据量很大,可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后,删除一天的分区数据,为了保险起见,我删除这一天的前三天的数据。

大致代码是这样的

function shan(){
cat <<EOF
ALTER TABLE table_name DROP PARTITION (dt='$san');
EOF
}

first=20160706
second=20190310

while [ "$first" -le "$second" ]
do
    zhong=`date -d "1 days ago ${first}" +%Y%m%d`
    hive -e "`merge`" #这行代码就是在生成当天的数据融合
    san=`date -d "3 days ago ${first}" +%Y%m%d`
    hive -e "`shan`" #删除三天前的数据
    let first=`date -d "-1 days ago ${first}" +%Y%m%d`
done

当然核心代码就是删除分区的那个代码

ALTER TABLE table_name DROP PARTITION (dt='$san');

上一页 下一页

原文地址:http://www.manongjc.com/article/73131.html

上一篇:mysql 超时时间

下一篇:idea2018 快捷键