使用Java代码通过JDBC连接只启用Sentry的Impala异常分析

时间:2022-05-06
本文章向大家介绍使用Java代码通过JDBC连接只启用Sentry的Impala异常分析,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.问题描述


测试环境描述:

  • CM和CDH版本为5.13.1
  • 集群只启用了Sentry
  • Impala JDBC2.5.42

在使用Java代码访问只启用了Sentry的Impala集群,即集群未启用认证比如LDAP或者Kerberos,会出现获取JDBC连接hang死的现象,具体示例代码如下:

public class SentryOnlyDemo {
    private static String JDBC_DRIVER = "com.cloudera.impala.jdbc4.Driver";
    private static String CONNECTION_URL ="jdbc:impala://13.229.116.237:21050/default;AuthMech=2;UID=hive;UseSasl=0";
    static {
        try {
            Class.forName(JDBC_DRIVER);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) {
        System.out.println("集群中只启用了Sentry服务通过JDBC访问Impala");
        Connection connection = null;
        ResultSet rs = null;
        PreparedStatement ps = null;
        try {
            connection = DriverManager.getConnection(CONNECTION_URL);
            ps = connection.prepareStatement("show databases");
            rs = ps.executeQuery();
            while (rs.next()) {
                System.out.println(rs.getString(1));
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JDBCUtils.disconnect(connection, rs, ps);
        }
    }
}

(可左右滑动)

在JDBC连接的URL中指定了AuthMech=2;UID=hive参数后在获取Connection时一直hang住无法正常获取JDBC连接。

2.解决方法


1.将Impala驱动Cloudera_ImpalaJDBC41,并加上参数PWD为空,修改JDBC URL连接为如下:

private static String JDBC_DRIVER = "com.cloudera.impala.jdbc41.Driver";
private static String CONNECTION_URL =" jdbc:impala://13.229.116.237:21050/default;AuthMech=3;UID=hive;PWD=;UseSasl=0";

(可左右滑动)

2.运行示例代码执行如下

执行成功,获取到JDBC的连接,成功查询到所有的Datebase库。

3.总结


1.在下载Impala JDBC驱动包时里面有Cloudera_ImpalaJDBC4和Cloudera_ImpalaJDBC41两个版本选择41这个版本的。

JDBC_DRIVER ="com.cloudera.impala.jdbc41.Driver"

2.修改JDBC URL为如下即可正常获取JDBC连接

jdbc:impala://13.229.116.237:21050/default;AuthMech=3;UID=hive;PWD=;UseSasl=0

关于这个JDBC连接的异常是一个bug具体可以参考如下jira描述:

https://issues.apache.org/jira/browse/IMPALA-5040

3.驱动包的下载地址为:

https://downloads.cloudera.com/connectors/impala_jdbc_2.5.42.1062.zip

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操