如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServer2的负载均衡。
- 内容概述
1.HAProxy配置HiveServer2负载均衡
2.HiveServer2配置Load Balancer
3.Beeline及Java JDBC测试
4.总结
- 测试环境
1.CM和CDH版本为5.14.0
2.采用ec2-user用户操作
3.集群已启用Kerberos
4.HAProxy1.5.18
2.HAProxy配置HiveServer2负载均衡
这里Fayson就不再赘述HAProxy的安装,具体你可以参考之前的文章《如何使用HAProxy实现Impala的负载均衡》,本文的配置也是基于前面文章的配置文件。
1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置
listen hivejdbc
bind 0.0.0.0:10099
mode tcp
option tcplog
balance source
server ip-172-31-21-83.ap-southeast-1.compute.internal ip-172-31-21-83.ap-southeast-1.compute.internal:10000 check
server ip-172-31-16-68.ap-southeast-1.compute.internal ip-172-31-16-68.ap-southeast-1.compute.internal:10000 check
(可左右滑动)
2.重启HAProxy服务
[root@ip-172-31-24-169 ec2-user]# systemctl restart haproxy
[root@ip-172-31-24-169 ec2-user]# systemctl status haproxy
(可左右滑动)
3.浏览器访问http://{hostname}:1080/stats
看到以上截图说明,已成功配置了HiveServer2服务的负载均衡。
3.修改Hive配置
1.使用管理员登录Cloudera Manager的Web控制台,进入Hive服务
2.在配置项搜索“HiveServer2 Load Balancer”
保存配置,回到CM主页根据提示重启相应服务。
4.Beeline测试
使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点
1.使用Beeline访问HAProxy服务的10099端口,命令如下
[ec2-user@ip-172-31-16-68 ~]$ kinit fayson
Password for fayson@FAYSON.COM:
[ec2-user@ip-172-31-16-68 ~]$ beeline
Beeline version 1.1.0-cdh5.14.0 by Apache Hive
beeline> !connect jdbc:hive2://ip-172-31-24-169.ap-southeast-1.compute.internal:10099/;principal=hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM
(可左右滑动)
2.同时打开两个终端访问HiveServer2并执行SQL
终端一
终端二:
3.通过访问HAProxy的统计页面可以看到如下信息
通过以上测试可以看到,两个终端执行的SQL不在同一个HiveServer2,这样就实现了HiveServer2服务的负载均衡。
5.Hive JDBC测试
这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。
1.Maven依赖
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>
</dependencies>
(可左右滑动)
2.配置JDBC的地址为HAProxy服务所在的IP端口为10099
package com.cloudera.hivejdbc;
import com.cloudera.utils.JDBCUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
/**
* package: com.cloudera.hivejdbc
* describe: 通过Haproxy连接Kerberos环境下的HiveServer2
* creat_user: Fayson
* email: htechinfo@163.com
* creat_date: 2018/2/4
* creat_time: 下午9:02
* 公众号:Hadoop实操
*/
public class KBHaproxySimple {
private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
private static String CONNECTION_URL ="jdbc:hive2://ip-172-31-24-169.ap-southeast-1.compute.internal:10099/;principal=hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM";
static {
try {
Class.forName(JDBC_DRIVER);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}
public static void main(String[] args) throws Exception {
System.out.println("通过Haproxy连接Kerberos环境下的HiveServer2");
//登录Kerberos账号
System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");
Configuration configuration = new Configuration();
configuration.set("hadoop.security.authentication" , "Kerberos" );
UserGroupInformation. setConfiguration(configuration);
UserGroupInformation.loginUserFromKeytab("fayson@FAYSON.COM", "/Volumes/Transcend/keytab/fayson.keytab");
System.out.println(UserGroupInformation.getLoginUser());
Connection connection = null;
ResultSet rs = null;
PreparedStatement ps = null;
try {
connection = DriverManager.getConnection(CONNECTION_URL);
ps = connection.prepareStatement("select * from test");
rs = ps.executeQuery();
while (rs.next()) {
System.out.println(rs.getInt(1) + "----" + rs.getString(2));
}
} catch (Exception e) {
e.printStackTrace();
} finally {
JDBCUtils.disconnect(connection, rs, ps);
}
}
}
(可左右滑动)
3.运行代码,查看运行结果
6.总结
- 在启用Kerberos的CDH集群,使用Haproxy实现HiveServer2的负载均衡,需要配置HiveServer2 Load Balancer参数。
- JDBC的URL中指定的principal为Haproxy服务器的hive/ip-172-31-24-169.ap-southeast-1.compute.internal@FAYSON.COM。
- 在使用Java代码连接时,需要加载krb5.conf、fayson.keytab等信息。
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- 听说GAN很高大上,其实就这么简单
- python3 解码base64遇到的问题与解决
- TensorFlow从0到1 - 16 - L2正则化对抗“过拟合”
- 使用虚拟环境,搭建python3+scrapy
- Matplotlib基础全攻略
- Python 小爬虫 - 爬取今日头条街拍美女图
- python3使用zookeeper和私钥解密及编码转化配置信息
- Python中os.path.dirname(__file__)的用法
- TensorFlow从0到1 - 18 - TensorFlow 1.3.0安装手记
- Python + Splinter 实现浏览器自动化操作入门指南
- 动态地理信息可视化——leaflet在线地图简介
- python中的递归函数
- 对抗思想与强化学习的碰撞-SeqGAN模型原理和代码解析
- 玩转数据地图系列之——地图上的迷你条形图
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法