【课后作业】Azkaban 自动化调度

时间:2022-07-25
本文章向大家介绍【课后作业】Azkaban 自动化调度，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

最后，将完成的 Shell 脚本交由 Azkaban 进行自动化调度。具体步骤讲解如下。

MySQL 数据生成

在 Node02 节点的 MySQL 中执行 SQL，生成数据：

mysql -uroot -pDBa2020*
use mall;
CALL init_data('2020-06-13',300,200,300,FALSE);

Azkaban 任务编写

编写 Azkaban 运行 job，其中包 import.job、ods.job、dwd.job、dws.job、gmv_ads.job、gmv_export.job。

文件内容如下：

import.job

type=command
do_date=${dt}
command=/home/warehouse/shell/sqoop_import.sh all ${do_date}

ods.job

type=command
do_date=${dt}
dependencies=import
command=/home/warehouse/shell/ods_db.sh ${do_date}

dwd.job

type=command
do_date=${dt}
dependencies=ods
command=/home/warehouse/shell/dwd_db.sh ${do_date}

dws.job

type=command
do_date=${dt}
dependencies=dwd
command=/home/warehouse/shell/dws_db.sh ${do_date}

随机文章
本站知识点必读
最近更新