Kettle使用JavaScript代码处理数据
时间:2022-07-22
本文章向大家介绍Kettle使用JavaScript代码处理数据,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Kettle使用JavaScript代码处理数据
- 需求
- 一、建立DB连接
- 二、建立处理流程
- 1、拖入表输入功能模块
- 2、拖入JavaScript代码功能模块
- 连接表输如---->JavaScript代码
- 处理经纬度
- 对处理好的经纬度进行正则表达式匹配处理
- 过滤记录并分别输出到不同的文件里
需求
处理经纬度格式不正确的数据
经纬度格式如: 经度:a-b-c 纬度:d-e-f
a、b、c、d、e、f都可以为数字(也可以为浮点等,只要符合经纬度要求就OK)
把符合要求的数据存放到一个xlsx里 不符合要求的数据存放到一个xlsx里
建立的处理流程如下:
结果: 处理的结果会得到两个文件,一个是符合要求的,一个是不符合要求的。
一、建立DB连接
连接要处理数据库的数据库
二、建立处理流程
1、拖入表输入功能模块
选择数据库连接、并按自己的需求写入相关的sql
2、拖入JavaScript代码功能模块
考虑到经纬度格式可能会出现存在空格的,而且经纬度不在一块。 现在可以利用JavaScript代码把从数据库中得到的经度和纬度合并到一起,然后对数据进行去掉所有的空格处理。
连接表输如---->JavaScript代码
处理经纬度
//Script here
//去前后空格
//var LO = LONGITUDE.replace(/(^s*)|(s*$)/g, "");
//var LA = LATITUDE.replace(/(^s*)|(s*$)/g, "");
//拼接成一个要验证的字符串
//var LL = LO +"," +LA;
//去前后空格
//var LL=L1.replace(/(^s*)|(s*$)/g, "");
//直接去除所有的空格
var LL = (LONGITUDE+","+LATITUDE).replace(/s+/g,"");
对处理好的经纬度进行正则表达式匹配处理
配置正则表达式
正则表达式
([d^(-?d+)(.d+)?$]+)-([d^(-?d+)(.d+)?$]+)-([d^(-?d+)(.d+)?$]+)[,]([d^(-?d+)(.d+)?$]+)-([d^(-?d+)(.d+)?$]+)-([d^(-?d+)(.d+)?$]+)
过滤记录并分别输出到不同的文件里
过滤记录的配置
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- dubbo(一)SPI机制与实现路径
- Go 使用三方 Redis 包操作 Redis
- 干货|这可能是最全的高并发、高性能、高可用解决方案总结
- 群晖多人协作开发
- 分享 Druid 连接池参数优化实战
- 使用 Eureka 简单实现服务健康监控日志分析
- Flask 入门系列教程(一)
- Flask 入门系列教程(二)
- CVE-2020-1472
- 盘点提高国内访问 GitHub 的速度的 9 种方案
- 如何用 Serverless 优雅地实现图片艺术化应用
- Unity3D网络通讯(四)--Socket通讯之Tcp通讯
- 笔记|Unity异步处理与UI Text显示的问题
- 项目中的全局缓存导致了内存泄露?
- 架构设计 | 分布式体系下,服务分层监控策略