如何在HUE上创建oozie Coordinator定时任务流
HUE版本:3.12.0 前言 通过浏览器访问
ip:8888
登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue
登陆。
一、Coordinator简介
Coordinator
能够将每个工作流Job
作为一个动作(Action
)来运行,相当于工作流定义中的一个执行节点(我们可以理解为工作流的工作流),这样就能够将多个工作流Job
组织起来,称为Coordinator Job
,并指定触发时间和频率,还可以配置数据集、并发数等。一个Coordinator Job
包含了在Job
外部设置执行周期和频率的语义,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job
的运行。
二、业务场景
定时执行某一个Workflow
。
三、调整时区
如果要执行Coordinator
定时任务,一定要调整HUE
和Oozie
的时区。
1. 调整HUE的时区
打开hue.ini
配置文件,将 time_zone=America/Los_Angeles
修改为 time_zone=Asia/Shanghai
,重启HUE服务。
2. 调整Oozie的时区
确保在oozie-site.xml
文件内添加oozie.processing.timezone=GMT+0800
,重启Oozie服务。
四、创建并执行Coordinator
点击“工作流程>编辑器>Coordinator
”,然后点击“创建”,如下图所示:
选择Workflow
,调整频率,可以选择从什么日期到什么日期的哪个时间点执行Workflow
。这里选择之前创建的Hive SQL
,如下图所示:
比如,使Workflow
在2018-10-23 09:40~2018-10-25 21:29的周期内,每天的10:00执行Workflow
,如下图所示:
创建好Coordinator
之后,点击执行即可。
五、查看执行结果
该Coordinator
每天上午10:00开始执行Workflow
,一共执行了三次。如下图所示:
六、总结
Oozie Coordinator
可以定时执行Workflow
,不过前提条件是要调整Oozie
和HUE
的时区。
- Python学习笔记(2):数据库访问
- 学习Python语言,这些酷毙的工具你知道几个?
- Mysql备份系列(4)--lvm-snapshot备份mysql数据(全量+增量)操作记录
- 免费体验国内首款写作机器人,就是这么溜!
- Python学习笔记(3):数据集操作-列的统一操作
- Python学习笔记(3):数据集操作-列的统一操作
- Python学习笔记(4):自定义时间类
- Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录
- 微信小程序开发:设置消息推送
- Mysql备份系列(1)--备份方案总结性梳理
- ASP.NET中常用的优化性能的方法(转贴,Icyer收集整理)
- 顶象全场景IoT安全方案解决物联网两大难题
- 诡异的【session丢失】和【<img src="">标签】
- TensorFlow核心使用要点
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【Rust日报】2020-08-24 理解 Rust 的切片
- 猿实战05——手把手教你拥有自己的代码生成器
- Java单元测试——容器内部测试
- Java单元测试——框架(三)——testNG
- Nginx系列:后端服务应用健康检测
- 那些大厂必问的Handler和Binder,有必要去研究么?
- 欢迎来到 TreeMap 的吐槽大会
- OMG,12 个精致的 Java 字符串操作小技巧,学它
- Nginx系列:安全下载模块
- 5分钟入门GANS:原理解释和keras代码实现
- 使用ML 和 DNN 建模的技巧总结
- 医学图像分割模型U-Net介绍和Kaggle的Top1解决方案源码解析
- 机器学习中的音频特征:理解Mel频谱图
- 兄弟,如何淡定地渡过七夕?
- Spring 源码第 9 篇,深入分析 FactoryBean