kettle学习笔记(九)——子转换、集群与变量
一、概述
kettle中3个重要的步骤:
子转换/映射
在转换里调用一个子转换,便于封装和重用。
集群
集群模式
变量和参数
变量和参数的用法
二、子转换
1.定义子转换
主要由映射输入与映射输出定义:
这里给出一个从kettle自带的samples中拿出来的示例,详情配置,参考kettle示例
保存这个转换(可以是文件,也可以在资源库),这就是子转换了!
2.调用子转换
子转换的配置:
整个调用的示例如下:
// 详细,查看kettle示例
三、集群
Kettle 集群是一个分布式的运行环境,由一个主节点和多个子节点构成。
主节点调度在子节点上处理不同的数据行,子节点把处理后的结果再提交到主节点。
(本机模拟可以通过carte不同端口来模拟启动,然后在kettle的子服务器中配置,默认集群用户名cluster/cluster,然后在kettle集群中添加集群)
使用的方式在步骤右击,选择集群进行配置
四、参数和变量
1.参数
参数分为位置参数(arg)和命名参数(param),变量则和之前介绍的一样。
一个使用参数的示例如下:
命名参数用法类似,之前也有介绍,使用age > ${arg1}
如果使用命令行方式,则:
pan test.ktr 18
// 如有空格,需要加双引号
2.变量
变量有作业下的设置变量和获取变量两种用法,分别对应将字段设置为字段和将变量设置为字段
// 特别注意,设置的变量只能其它转换使用!!!
使用的方式,类似如下:(作业中设置变量环节)
kettle.properties中同样支持设置变量(注意重启spoon)
并且,kettle.properties是支持密文的,这样就不用使用明文暴露密码了:
命令行下执行 encr -kettle 123 命令 得到 123 对应的密码是 2be98afc86aa7f2e4cb79ce10bec3fd89 直接在 kettle.properties 文件里设置 Password = Encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89
- JSP第四篇【EL表达式介绍、获取各类数据、11个内置对象、执行运算、回显数据、自定义函数、fn方法库】
- 03 整合IDEA+Maven+SSM框架的高并发的商品秒杀项目之web层
- JSP第三篇【JavaBean的介绍、JSP的行为--JavaBean】
- Java基础-06.总结二维数组,面向对象
- 04 整合IDEA+Maven+SSM框架的高并发的商品秒杀项目之高并发优化
- 过滤器第一篇【介绍、入门、简单应用】
- 通过pl/sql来格式化sql(r4笔记第63天)
- 程序员如何写出杀手级的简历
- 过滤器第二篇【编码、敏感词、压缩、转义过滤器】
- JSP第二篇【内置对象的介绍、4种属性范围、应用场景】
- Struts2的配置和一个简单的例子
- 监听器第一篇【基本概念、Servlet各个监听器】
- 监听器第二篇【统计网站人数、自定义session扫描器、踢人小案例】
- 通俗易懂的分析如何用Python实现一只小爬虫,爬取拉勾网的职位信息
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Kaggle Tweet Sentiment Extraction 第七名复盘
- 【翻译】.NET 5中的性能改进
- 腾讯云实时语音识别-iOS SDK
- JointPoint用法及与ProceedingJoinPoint 的关系
- Spring中的异步请求、异步调用及demo测试
- 以太坊交易签名解析源码解读
- 比较NaN和数字
- GO 的方法集
- 轻松应对并发问题,简易的火车票售票系统,第一步 —业务分析
- 【Spark Operator】核数设置Cores/Cores Limit/Cores Request,你搞清楚没有?
- 【Ceph RGW】radosgw_usage_exporter监控用户使用量
- 【Goland】#{key}=#{value},字符串被格式化了?
- Variable变量
- 案例:OGG目标端进程ABENDED处理
- Elasticsearch深分页以及排序查询问题