如何在Hive & Impala中使用UDF
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识:
1.如何使用Java开发Hive的自定义函数
2.如何在Hive中创建自定义函数及使用
3.如何在Impala中使用Hive的自定义函数
这篇文档将重点介绍UDF在Hive和Impala的使用,并基于以下假设:
1.集群环境正常运行
2.集群安装Hive和Impala服务
以下是本次测试环境,但不是本操作手册的硬限制:
1.操作系统:Redhat6.5
2.CDH和CM版本为5.11.1
3.采用sudo权限的ec2-user用户进行操作
2.UDF函数开发
使用Intellij工具开发Hive的UDF函数,进行编译;
1.使用Intellij工具通过Maven创建一个Java工程
2.pom.xml文件中增加Hive包的依赖
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0</version>
</dependency>
3.Java示例代码如下
package com.peach.date;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.ParseException;
import java.text.SimpleDateFormat;
/**
* SQL的UDF日期相关工具类
* Created by peach on 2017/8/24.
*/
public class DateUtils extends UDF {
/**
* 将日期字符串格式化为标准的日期格式
* 如:
* 2017-8-9 to 2017-08-09
* 2017-08-09 9:23:3 to 2017-08-0909:23:03
* @param sdate
* @param pattern
* @return
*/
public static String evaluate(Stringsdate, String pattern) {
String formatDate = sdate;
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
try {
formatDate =sdf.format(sdf.parse(sdate));
} catch (ParseException e) {
e.printStackTrace();
}
return formatDate;
}
}
此处使用一个简单的日期转换自定义函数来做事例,注意此处需要集成UDF类,重写evaluate方法,来实现自己定义函数。
4.编译jar包
前提条件是已配置Maven的环境变量,命令行进入工程目录,执行如下命令:
| mvn clean package |
|:----|
3.Hive使用自定义函数(UDF)
将章节2中编译好的sql-udf-utils-1.0-SNAPSHOT.jar上传到集群服务器;
3.1创建临时UDF
1.进入Hive的shell命令行,执行如下命令,创建临时函数
| add jar /home/ec2-user/sql-udf-utils-1.0-SNAPSHOT.jar;create temporary function parse_date as 'com.peach.date.DateUtils'; |
|:----|
2.在命令行测试该UDF函数
| select parse_date(dates, 'yyyy-MM-dd HH:mm:ss') from date_test1; |
|:----|
3.2创建永久UDF
1.在HDFS中创建相应目录,将sql-udf-utils-1.0-SNAPSHOT.jar包上传至该目录
| ec2-user@ip-172-31-8-141 ~$ hadoop dfs -mkdir /udfjarec2-user@ip-172-31-8-141 ~$ hadoop dfs -put sql-udf-utils-1.0-SNAPSHOT.jar /udfjar |
|:----|
注意:目录udfjar和sql-udf-utils-1.0-SNAPSHOT.jar的权限,所属用户为hive
2.进入Hive的shell命令行,执行如下命令创建永久的UDF
| create function default.parse_date as 'com.peach.date.DateUtils' using jar 'hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar'; |
|:----|
注意:在创建的时候如果带有数据库名,则该UDF函数只对该库生效,其它库无法使用该UDF函数。
3.在命令行测试该UDF
| select parse_date(dates, 'yyyy-MM-dd HH:mm:ss') from date_test1; |
|:----|
4.验证永久UDF函数是否生效
重新打开Hive CLI能正常使用创建的UDF函数。
4.Impala使用Hive的UDF
1.在Impala shell命令行执行元数据同步命令
| ip-172-31-10-156.ap-southeast-1.compute.internal:21000 > invalidate metadata; |
|:----|
2.使用UDF函数
| ip-172-31-10-156.ap-southeast-1.compute.internal:21000 > select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from date_test1; |
|:----|
5.常见问题
1.通过Impala CLI命令行,使用UDF自定义函数时异常
| Connected to ip-172-31-10-156.ap-southeast-1.compute.internal:21000Server version: impalad version 2.7.0-cdh5.10.2 RELEASE (build 38c989c0330ea952133111e41965ff9af96412d3)ip-172-31-10-156.ap-southeast-1.compute.internal:21000 > select parse_date(dates) from date_test1;Query: select parse_date(dates) from date_test1Query submitted at: 2017-08-24 12:51:44 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)ERROR: AnalysisException: default.parse_date() unknown |
|:----|
元数据未同步导致,执行如下命令进行元数据同步:
| ip-172-31-10-156.ap-southeast-1.compute.internal:21000 > invalidate metadata; |
|:----|
2.在Impala CLI命令行执行,异常如下
| ip-172-31-10-156.ap-southeast-1.compute.internal:21000 > select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from date_test1;Query: select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from date_test1Query submitted at: 2017-08-24 13:02:14 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)ERROR: Failed to copy hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar to /var/lib/impala/udfs/sql-udf-utils-1.0-SNAPSHOT.2386.2.jar:Error(2): No such file or directory |
|:----|
在Impala Daemon服务器上,目录不存在导致
解决方法:
在所有Impala Daemon服务器创建/var/lib/impala/udfs目录
| ec2-user@ip-172-31-10-156 lib$ sudo mkdir -p impala/udfec2-user@ip-172-31-10-156 lib$ sudo chown -R impala:impala impala/ |
|:----|
注意:目录所属用户及组
醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花! 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- sshd服务搭建与管理
- Airflow Dag可视化管理编辑工具Airflow Console
- 使用 Clientset 获取 Kubernetes 资源对象
- Python爬虫 - 解决动态网页信息抓取问题
- Java内存故障?只是因为你不够帅!
- 线程池的execute方法和submit方法有什么区别?
- os.mkdir()
- Java自动化测试(Jmeter 12)
- python剪切文件
- 设计模式(一):Android 源码中的单例模式
- Flask(数据库操作 十一)
- Golang | 既是接口又是类型,interface是什么神仙用法?
- 剑指offer第11题:机器人运动范围
- SQL 查找是否"存在",别再 count 了,很耗费时间的!
- 【LeeCode 中等 字节 python3】567. 字符串的排列