如何在HUE上创建oozie Coordinator定时任务流

时间:2022-06-19
本文章向大家介绍如何在HUE上创建oozie Coordinator定时任务流,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

HUE版本:3.12.0 前言 通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

一、Coordinator简介

Coordinator能够将每个工作流Job作为一个动作(Action)来运行,相当于工作流定义中的一个执行节点(我们可以理解为工作流的工作流),这样就能够将多个工作流Job组织起来,称为Coordinator Job,并指定触发时间和频率,还可以配置数据集、并发数等。一个Coordinator Job包含了在Job外部设置执行周期和频率的语义,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。

二、业务场景

定时执行某一个Workflow

三、调整时区

如果要执行Coordinator定时任务,一定要调整HUEOozie的时区。

1. 调整HUE的时区

打开hue.ini配置文件,将 time_zone=America/Los_Angeles 修改为 time_zone=Asia/Shanghai,重启HUE服务。

2. 调整Oozie的时区

确保在oozie-site.xml文件内添加oozie.processing.timezone=GMT+0800,重启Oozie服务。

四、创建并执行Coordinator

点击“工作流程>编辑器>Coordinator”,然后点击“创建”,如下图所示:

选择Workflow,调整频率,可以选择从什么日期到什么日期的哪个时间点执行Workflow。这里选择之前创建的Hive SQL,如下图所示:

比如,使Workflow在2018-10-23 09:40~2018-10-25 21:29的周期内,每天的10:00执行Workflow,如下图所示:

创建好Coordinator之后,点击执行即可。

五、查看执行结果

Coordinator每天上午10:00开始执行Workflow,一共执行了三次。如下图所示:

六、总结

Oozie Coordinator可以定时执行Workflow,不过前提条件是要调整OozieHUE的时区。