如何使用HAProxy实现Impala的负载均衡
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
前面Fayson介绍过《如何使用Nginx实现Impala负载均衡》,正如之前所说Cloudera官网推荐并支持的负载均衡为HAProxy。所以Fayson就介绍一下如何使用HAProxy实现Impala服务的负载均衡。
- 内容概述
1.HAProxy安装及启停
2.HAProxy配置Impala负载均衡
3.Impala shell及JDBC测试
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
3.集群未启用Kerberos
4.HAProxy1.5.18
2.HAProxy安装及启停
1.在集群中选择一个节点,使用yum方式安装HAProxy服务
[root@ip-172-31-9-33 ~]# yum -y install haproxy
2.启动与停止HAProxy服务,并将服务添加到自启动列表
[root@ip-172-31-9-33 ~]# service haproxy start
[root@ip-172-31-9-33 ~]# service haproxy stop
[root@ip-172-31-9-33 ~]# chkconfig haproxy on
3.HAProxy配置Impala负载均衡
1.将/etc/haproxy目录下的haproxy.cfg文件备份,新建haproxy.cfg文件,添加如下配置
#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
#option http-server-close
#option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen stats
bind 0.0.0.0:1080
mode http
option httplog
maxconn 5000
stats refresh 30s
stats uri /stats
listen impalashell
bind 0.0.0.0:25003
mode tcp
option tcplog
balance leastconn
server ip-172-31-9-33.fayson.com ip-172-31-9-33.fayson.com:21000 check
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21000 check
server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21000 check
listen impalajdbc
bind 0.0.0.0:25004
mode tcp
option tcplog
balance leastconn
server ip-172-31-9-33.fayson.com ip-172-31-9-33.fayson.com:21050 check
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21050 check
server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21050 check
主要配置了HAProxy的http状态管理界面、impalashell和impalajdbc的负载均衡。
2.重启HAProxy服务
[root@ip-172-31-9-33 haproxy]# service haproxy restart
3.浏览器访问http://{hostname}:1080/stats
看到以上截图说明,已成功配置了Impala服务的负载均衡。
4.Impala Shell测试
使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它Impala Daemon节点
1.使用Impala shell访问HAProxy服务的25003端口,命令如下
[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003
2.打开第一个终端访问并执行SQL
[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003
...
[ip-172-31-9-33.fayson.com:25003] > select * from my_first_table;
...
+----+------+
| id | name |
+----+------+
| 1 | john |
| 2 | tom |
| 3 | jim |
+----+------+
Fetched 3 row(s) in 7.20s
[ip-172-31-9-33.fayson.com:25003] >
3.同时打开第二个终端访问并执行SQL
[root@ip-172-31-6-148 ~]# impala-shell -i ip-172-31-9-33.fayson.com:25003
...
[ip-172-31-9-33.fayson.com:25003] > select * from my_first_table;
...
+----+------+
| id | name |
+----+------+
| 2 | tom |
| 3 | jim |
| 1 | john |
+----+------+
Fetched 3 row(s) in 1.81s
[ip-172-31-9-33.fayson.com:25003] >
通过以上测试可以看到,两个终端执行的SQL不在同一个Impala Daemon,这样就实现了Impala Daemon服务的负载均衡。
5.Impala JDBC测试
这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。
1.配置JDBC的地址为HAProxy服务所在的IP端口为25004
2.运行代码,查看运行结果
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 算法-查找斐波纳契数列中第 N 个数
- 在python中修改.properties文件的操作
- Django Xadmin多对多字段过滤实例
- 算法-姓名去重
- Ubuntu18.04安装 PyCharm并使用 Anaconda 管理的Python环境
- Python Opencv中用compareHist函数进行直方图比较对比图片
- 面试题-树状数组结构转化
- Xadmin+rules实现多选行权限方式(级联效果)
- Android仿主流壁纸App设置界面
- Android中WindowManager与WMS的解析
- 算法(简单)_搜索二维矩阵&分解质因数
- 算法_最大子数组&合并排序数组
- 算法_比较字符串&字符串密钥格式
- 算法_两数之和&中位数
- 算法-落单的数