kettle学习笔记(二)——kettle基本使用
一、子程序功能和启动方式介绍
Spoon.bat: 图形界面方式启动作业和转换设计器。
Pan.bat: 命令行方式执行转换。
Kitchen.bat: 命令行方式执行作业。
Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。
Encr.bat: 密码加密
转换和作业:
Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。
•转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。
•作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。
二、第一个转换——hello world
1.运行Spoon.bat,打开图形设计界面
2.通过导航栏:文件-新建-转换,新建一个转换
3.在左边选择输入
这里以简单的生成随机数为输入
双击节点进行配置:
4.同理选择输出
这里选择最简单的文本输出
选中输入节点,按住shift键,通过鼠标左键进行节点连接!
5.运行转换
运行之前保存转换:
查看执行结果:
桌面上可以查看转换的结果文件:
6.预览
比如上面的例子,如果只是想看一下随机数是否正确正常,不想再另外配一个文本输出来查看结果,可以删除输出节点,使用预览:
点击快速启动,即可查看结果:
7.添加转换过程
这里添加一个最常用的字段选择,通过节点连接后,点击获取字段可以选择所有,然后在字段列表进行选择:
通过删除选中行(DEL键),过滤指定的字段,预览即可查看转换的结果:
8.改变并发数
例如上面的生成随机数,如果想生成多个而不只是一行,可以在生成随机数节点上右键->改变开始复制的数量,节点上即会对应进行显示:
9.流程操作
除了转换,还有一些比较常用的流程操作:
这里以常用的记录过滤与空操作举例(空操作视为垃圾箱,用于丢弃不要的过滤结果等)
这里对结果进行不同方向的处理:过滤为True的放入文本文件,为False的丢弃:
配置过滤的节点:主要配置字段的过滤条件(文本文件节点和前文一样配置)
保存并启动转换,转换结果不再赘述。
10.计算器案例操作
例如进行一些字段与字段之间的计算或者字段的计算等操作
可以通过搜索找到计算器节点(或者在转换下找),配置如下:
11.连接案例
在输入中选择两个自定义常量数据,这个一般用于自己编造测试数据,在连接中选择记录集连接:
配置自定义常量数据:分别在元数据中配置字段定义信息,在数据中写入测试数据:
配置记录集:
预览可查看结果:
- 携程Android App插件化和动态加载实践
- 15.5 使用pure-ftpd搭建ftp服务
- JDK容器学习之Queue: ArrayBlockingQueue
- 手机APP安装包缩减方案
- react-native添加redux支持
- Java并发学习之ReentrantLock的工作原理及使用姿势
- Linux基础(day63)
- IOS WebView控件详解
- Java并发学习之synchronized使用小结
- 18.3/18.4/18.5 用keepalived配置高可用集群
- JDK容器学习之Queue:DelayQueue
- React-Native组件之 Navigator和NavigatorIOS
- JDK容器学习之Queue:ConcurrentLinkedQueue
- JDK容器学习之Queue: PriorityQueue
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法