HBase跨地区机房的压测小程序——从开发到打包部署(图文版)
时间:2022-04-22
本文章向大家介绍HBase跨地区机房的压测小程序——从开发到打包部署(图文版),主要内容包括编写代码、基于Idea打包、传输到远程服务器、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
今天做了一个跨地区机房的压测小程序,主要的思路就是基于事先准备好的rowkey文件,利用多线程模拟并发的rowkey查询,可以实现并发数的自由控制。主要是整个流程下来,遇到了点打包的坑,所以特意记录下。
编写代码
rowkey文件的准备就不说了。首先是HbaseClient的查询接口,由于创建连接的代价很重,因此这里采用HBase的ConnectionFactory工厂:
static {
try {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("hbase.zookeeper.quorum", "此处不可描述");
connection = ConnectionFactory.createConnection(conf);
} catch (IOException e) {
e.printStackTrace();
}
}
private static Table getTable(String table) throws IOException {
return connection.getTable(TableName.valueOf(table));
}
查询的时候直接使用get Api即可:
try (Table tab = getTable(table)) {
Get get = new Get(Bytes.toBytes(key));
Cell cell = tab.get(get).getColumnLatestCell(COLUMN_FAMILY, Bytes.toBytes(field));
column = Bytes.toString(CellUtil.cloneValue(cell));
} catch (Exception e) {
logger.error("查询请求出错:" + e.getMessage());
}
为了模拟并发,我这边直接使用了Fixed线程池,并且基于java8的lambda表达式创建线程池:
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(100);
for(String line : lines){
fixedThreadPool.execute(() -> {
Long start = System.currentTimeMillis();
// ... todo ... 我这里只想统计一下平均的访问时间,所以就简单的做减法就行了
Long end = System.currentTimeMillis();
System.out.println(end-start);
});
}
基于Idea打包
整体的项目结构大致如下:
点击project structure
点击add-->jar-->from models with dependencies...
选择对应的资源文件加入到打包路径中
点击build-->build artifacts-->build进行打包
观察文件MANIFEST.MF
可以看到里面包含的内容:
Manifest-Version: 1.0
Class-Path: commons-beanutils-core-1.8.0.jar netty-all-4.0.23.Final.ja
r hadoop-auth-2.5.1.jar snappy-java-1.0.4.1.jar protobuf-java-2.5.0.j
ar jcodings-1.0.8.jar hadoop-yarn-common-2.5.1.jar httpclient-4.2.5.j
ar commons-math3-3.1.1.jar commons-lang-2.6.jar findbugs-annotations-
1.3.9-1.jar jaxb-api-2.2.2.jar slf4j-api-1.6.1.jar commons-el-1.0.jar
commons-beanutils-1.7.0.jar commons-collections-3.2.2.jar commons-ht
tpclient-3.1.jar commons-io-2.4.jar avro-1.7.4.jar hamcrest-core-1.3.
jar hbase-client-1.3.1.jar slf4j-log4j12-1.6.1.jar commons-logging-1.
2.jar hadoop-yarn-api-2.5.1.jar hbase-protocol-1.3.1.jar netty-3.6.2.
Final.jar commons-configuration-1.6.jar hadoop-annotations-2.5.1.jar
jackson-core-asl-1.9.13.jar paranamer-2.3.jar junit-4.12.jar metrics-
core-2.2.0.jar jsr305-1.3.9.jar stax-api-1.0-2.jar hadoop-common-2.5.
1.jar commons-compress-1.4.1.jar apacheds-i18n-2.0.0-M15.jar api-asn1
-api-1.0.0-M20.jar jackson-mapper-asl-1.9.13.jar commons-codec-1.9.ja
r xz-1.0.jar htrace-core-3.1.0-incubating.jar activation-1.1.jar hado
op-mapreduce-client-core-2.5.1.jar commons-net-3.1.jar commons-digest
er-1.8.jar hbase-annotations-1.3.1.jar jsch-0.1.42.jar commons-cli-1.
2.jar xmlenc-0.52.jar httpcore-4.2.4.jar joni-2.1.2.jar api-util-1.0.
0-M20.jar apacheds-kerberos-codec-2.0.0-M15.jar log4j-1.2.17.jar jett
y-util-6.1.26.jar guava-12.0.1.jar zookeeper-3.4.6.jar hbase-common-1
.3.1.jar
Main-Class: Test
我们需要的文件就都保存在/project_home/out目录下了,
传输到远程服务器
首先进入对应的out目录,执行下面的命令:
tar -cvf hbase_test.tar hbase_test_jar
使用scp命令拷贝到远程服务器:
scp hbase_test.tar xingoo@hnode10:/home/xingoo/
登录到远程服务器,解压:
tar -xvf hbase_test.tar
进入对应的目录直接执行jar包:
java -jar hbase-test.jar
结果200ms还可以接受吧...
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- laravel按天、按小时,查询数据的实例
- 浅谈laravel中的关联查询with的问题
- 解决Laravel 不能创建 migration 的问题
- 使用tp框架和SQL语句查询数据表中的某字段包含某值
- Laravel框架中集成MongoDB和使用详解
- thinkphp5 模型实例化获得数据对象的教程
- 浅谈laravel框架sql中groupBy之后排序的问题
- php 比较获取两个数组相同和不同元素的例子(交集和差集)
- Laravel 5.5 异常处理 & 错误日志的解决
- Laravel 框架返回状态拦截代码
- PHP getID3类的使用方法学习笔记【附getID3源码下载】
- PHP读取Excel内的图片(phpspreadsheet和PHPExcel扩展库)
- 浅谈laravel 5.6 安装 windows上使用composer的安装过程
- PhpStorm 如何优雅的调试Hyperf的方法步骤
- 在TP5数据库中四个字段实现无限分类的示例