重磅来袭:腾讯云ClickHouse支持数据均衡服务
1. 前言
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它于2016年以apache 2.0协议开源,以优秀的查询性能,深受广大大数据工程师欢迎。为了服务客户业务,腾讯云于2020年4月正式上线ClickHouse服务。
服务上线以来,迅速获得内外客户广泛支持,服务业务数量成规模增长。运维与管控压力也随之而来,用户对弹性伸缩能力的呼声越来越大。事实上,ClickHouse是典型的Share-Nothing架构,天然支持弹性伸缩能力。无论是增加节点数量,还是增加数据分片副本数量都非常容易。
图1 ClickHouse Share-Nothing 架构
但是,ClickHouse集群在增加节点后,集群上的数据集无法自动均衡分布。需要人工干预,确保数据均衡。同理,下线集群节点前,也需要人工干预,将被下线节点的机器迁移到其他节点。在生产环境中,运维工作强度随着集群中表的数量,数据规模增加而急剧增强。为了缓解云上ClickHouse用户运维压力,将ClickHouse数据均衡运维工作自动化是非常有价值的。
本文将带领读者了解腾讯云ClickHouse如何实现无人值守的数据均衡服务。
2. ClickHouse集群数据均衡功能缺失
在生产环境中,通常ClickHouse通常以集群模式部署。在ClickHouse集群中,用户根据业务需求将集群节点划分为若干子集合。每个集合存储若干数据集。在使用层面,用户通过分布式表(Distributed Engine)来查询整个数据集。在ClickHouse的语义中,有一个Cluster概念,它是一个节点的集合,并且定义了存储在该Cluster上的数据集的分片数量,以及分片的副本数量,以及其存储节点。
如图1所示,一个名为cluster-dataset 的Cluster, 定义了4个分片(SHARD), 每个分片有2个副本。当存储在这个Cluster上的数据集,通常会分散存储在4个分片中,并且每个分片数据会存储2个副本。 为Cluster增加分片是非常容易,分配机器,修改配置即可。
图2:扩容节点示意图
如图2所示,给cluster-dataset增加一个分片。但是已存的数据数据集仍然在分片SHARED1-4上。很明显,新增的节点存在资源浪费的问题,包括计算资源和存储资源。
为了解决这样问题,有若干方案解决:
- a) 将数据全部删除掉,从后备数据源重新导入数据到ClickKhouse;
- b) 增加新节点的权重,过一定时间后待数据均衡后,重新调整新增节点权重;
- c) 其他,人工搬运数据到新增节点
无论那种方法,都存在缺陷。
对方案a)而言,如果ClickHouse中数据并无后备数据源,那么该方案不可行。即使有后备数据源,重新导入数据耗时,且停服时间与数据量成正比,代价大。 对方案b)而言,需要对新节点进行多次权限调整。在调整期间,数据存储压力向新增节点倾斜,无法充分利用集群优势。且容易导致新近数据集中在新增节点上,导致集群资源浪费,降低查询效率。 对方案c)而言,操作繁杂,在表多,数据量大的情况下,易出错。
3. 云上ClickHouse解决方案
为了解决ClickHouse集群数据均衡功能缺失,带来的运维压力,腾讯云ClickHouse提供了数据自动均衡功能。
简而言之,在获得用户授权后,用户在控制台上简单配置,填写数据迁移网络带宽上限,即可启动数据均衡任务。
后台管控系统根据机器当期磁盘可用容量,合理安排数据迁移计划。然后,根据网络带宽上限,执行迁移计划。最终,使得数据在节点上分布趋于均衡。
以一个例子来说明,在云上申请一个ClickHouse实例,2个节点。在其中一个节点上创建一个名为lineorder
的表,并导入测试数据。
查看该表在该节点上的存储容量,结果如下所示:
另外一个节点上没有该表的数据,也没有表的schema。我们通过数据迁移功能完成数据均衡。接下来通过控制台,我们完成数据迁移。
具体步骤如下:
步骤1 选择Cluster: 选择Cluster.选择ClickHouse实例,点击集群服务,选择ClickHouse组件,在"操作"下拉列表中,选择数据迁移菜单项。选择数据均衡模式。
步骤2 选择迁移节点:在确定Cluster后,可以选择数据迁出与迁入节点。
步骤3 选择迁移数据表:在确定了迁移节点后,我们可以选择待迁移的表。
步骤4 确认信息:
最后,提交任务。ClickHouse就开始数据迁移工作。在任务中心可以看到数据迁移进度。
任务结束时候,可以查看迁移任务详情信息。
待数据迁移完成后,我们可以查看数据在两个节点上数据分布情况。在集群节点上数据量情况如下:
可以看到,数据迁移完成后,数据条数和数据量是完全吻合的。
4. 总结
云上数据迁移功能旨在解决ClickHouse弹性伸缩时数据迁移问题。使用场景包括:
- 新扩容节点后,使用数据迁移功能,迁移部分数据至新节点,让数据在集群节点上趋于均衡;
- 缩容节点前,将待下线节点上的数据迁移到其他节点,避免数据丢失。
数据迁移功能极大的缓解了集群版ClickHouse运维压力。需要注意的是,数据均衡任务运行过程中,被迁移的表无法被业务访问。
- 【7】AccessDB快速数据访问
- 4.微信支付
- 【8】数据浏览表格的快速输出
- Silverlight的自定义tooltip提示工具条
- WritableBitmapEx 一瞥
- 2.认证小程序
- 【9】分页浏览的管理
- 温故而知新:silverlight中的图片资源绑定
- 页面状态保持机制(编辑中)
- mysql主从同步(5)-同步延迟状态考量(seconds_behind_master和pt-heartbea)
- ngx_pagespeed-nginx前端优化模块介绍
- Tomcat利用MSM实现Session共享方案解说
- Tomcat集群环境下session共享方案梳理(1)-通过memcached(MSM)方法实现
- nginx负载均衡(5种方式)、rewrite重写规则及多server反代配置梳理
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 共享内存原理与VCS监控采集实战
- Spark中的聚类算法
- 【Linux_Shell 脚本编程学习笔记六、shell的数值运算】
- Java自动化测试(adb常用命令 32)
- 前端学习计算机理论知识的好处
- 【Vue 学习笔记 一、Vue开发环境搭建】
- Vue 图片上传组件(base64 版):vue-upload-imgs
- 三、运行时的动态常量(学习笔记)
- Vue Cli 3 打包配置--自动忽略 console.log 语句
- git 常用命令介绍
- PAT (Basic Level) Practice (中文)1043 输出PATest (20 分)
- PAT (Basic Level) Practice (中文)1047 编程团体赛 (20 分)
- Vue中computed分析
- 半小时搞懂 HTTP、HTTPS和HTTP2
- RestPack Java实现Html转PDF文件