如何在Hue中配置Impala的负载均衡
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在前面的文章Fayson介绍了《如何使用HAProxy实现Impala的负载均衡》、《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》和《如何使用Nginx实现Impala负载均衡》。本篇文章主要基于Haproxy方式实现的Impala负载均衡在Hue中配置Impala服务的负载均衡。
- 内容概述
1.测试环境描述
2.Hue配置Impala负载均衡
3.测试Impala负载均衡
4.总结
- 测试环境
1.CM和CDH版本为5.13.1
2.Haproxy版本为1.5.18
- 前置条件
1.已配置好Haproxy实现的Impala负载均衡
2.环境描述
在CDH集群中使用Haproxy配置Impala服务的负载均衡,具体可参看Fayson前面的文章《如何使用HAProxy实现Impala的负载均衡》。
注:上图标注部分impalajdbc必须配置,否则在Hue中无法配置Impala的负载均衡。
Haproxy的配置如下:
global
# to have these messages end up in /var/log/haproxy.log you will
# need to:
#
# 1) configure syslog to accept network log events. This is done
# by adding the '-r' option to the SYSLOGD_OPTIONS in
# /etc/sysconfig/syslog
#
# 2) configure local2 events to go to the /var/log/haproxy.log
# file. A line like the following can be added to
# /etc/sysconfig/syslog
#
# local2.* /var/log/haproxy.log
#
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
#option http-server-close
#option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen stats
bind 0.0.0.0:1080
mode http
option httplog
maxconn 5000
stats refresh 30s
stats uri /stats
listen hivejdbc
bind 0.0.0.0:10099
mode tcp
option tcplog
balance source
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:10000 check
server ip-172-31-6-148.fayson.com ip-172-31-6-148.fayson.com:10000 check
listen impalashell
bind 0.0.0.0:25003
mode tcp
option tcplog
balance leastconn
server cdh04.fayson.com cdh04.fayson.com:21000 check
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21000 check
server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21000 check
listen impalajdbc
bind 0.0.0.0:25004
mode tcp
option tcplog
balance source
server cdh04.fayson.com cdh04.fayson.com:21050 check
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:21050 check
server ip-172-31-10-118.fayson.com ip-172-31-10-118.fayson.com:21050 check
(可左右滑动)
3.修改Hue配置
1.使用管理员登录Cloudera Manager的WEB控制台,进入hue服务的配置项页面
2.在配置项搜索”hue_safety_valve.ini”,在该配置项增加如下配置
[impala]
server_host=ip-172-31-7-172.fayson.com
server_port=25004
配置项说明:
server_host: Haproxy服务的HOSTNAME或IP地址。
server_port: Haproxy中配置监听的impalajdbc的端口25004。
3.保存配置,回到CM主页根据提示重启Hue及相关服务
4.测试Impala是否正常访问
这里我们使用两个浏览器登录Hue,来对Impala进行操作,查看Haproxy是否有负载均衡。
1.使用谷歌浏览器登录Hue,执行SELECT操作
查看此时Haproxy的监控界面,可以看到使用谷歌浏览器登录操作Impala连接的是ip-172-31-10-118.fayson.com节点的Impala Daemon服务
2.使用Safari浏览器登录Hue,执行SELECT操作
SQL执行成功,查看此时Haproxy的监控界面,可以看到使用Safari浏览器登录操作Impala连接的是cdh04.fayson.com节点的Impala Daemon服务
5.总结
- 在Hue中配置连接多个ImpalaDaemon需要先配置Impala服务JDBC的负载均衡。
- 在配置impalajdbc的Haproxy时需要将负载均衡的策略指定为balance source否则在使用时会报“Results have expired, rerun the query ifneeded”
- balance source是将用户的IP地址经过Hash计算后制定到固定的服务器上。
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Django debug page XSS漏洞(CVE-2017-12794)分析
- kafka_2.11-2.0.0_常用操作
- shell脚本:通过域名获取证书的过期时间
- Shell按行读取文件的3种方法
- 客户端 session 导致的安全问题
- Shell脚本常用模板
- 利用最新Apache解析漏洞(CVE-2017-15715)绕过上传黑名单
- GitHub-创建仓库与本地同步
- GitHub-暂存区与版本回退
- GitHub-版本管理
- 使用CDP遇到的问题1
- GitHub-分支管理01
- GitHub-分支管理02-BUG与Feature分支
- GitHub-分支管理03-多人合作【重点】
- 宝塔面板phpMyAdmin未授权访问漏洞是个低级错误吗?