HBase基准测试
HBase Performance Evaluation
su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1
Elapsed time in milliseconds=26672
Row count=1048576
su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialRead 1
Elapsed time in milliseconds=227972
Row count=1048576
su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 1
Elapsed time in milliseconds=15852
Row count=1048576
su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation randomRead 1
Elapsed time in milliseconds=259335
Row count=1048576
随机写测试 RandomWriteTest
hbase pe --nomapred --oneCon=true --valueSize=100 --compress=SNAPPY --rows=150000 --autoFlush=true --presplit=64 randomWrite 64
把PE模式设为了非MapReduuce(--nomapred)
,即采用起线程的形式。
跑的命令是randomWrite
,即随机写入;
后面跟的64代表起了64个线程来做写入。
--rows=150000
代表每个线程会写入150000行
数据。
PE工具的所有的输出都会直接写到LOG文件,LOG的位置需要参照HBase的设置。运行结束后,PE会分别打出每个线程的延迟状况
统计了所有线程的最大持续时间,平均持续时间等等
–nomapred
表示不使用MAPREDUCE框架
–oneCon=true
所有线程是否共享连接
–valueSize=100
一次写入所写入value的大小
–compress
压缩方式
–presplit=64
创建预分表(初始情况下将table分为多少个分区)
–autoFlush=true
client在收到put请求时是否每次都发送到region server
–rows=150000
每个线程需要发送的数据量
每次测试都会删除之前测试创建的测试表。删除表的时间不计入结果
- [解读REST] 4.基于网络应用的架构风格
- [解读REST] 6.REST的应用经验以及教训
- [认证授权] 6.Permission Based Access Control
- [认证授权] 5.OIDC(OpenId Connect)身份认证授权(扩展部分)
- [认证授权] 4.OIDC(OpenId Connect)身份认证授权(核心部分)
- [OIDC in Action] 1. 基于OIDC(OpenID Connect)的SSO
- [OIDC in Action] 2. 基于OIDC(OpenID Connect)的SSO(纯JS客户端)
- [认证授权] 2.OAuth2授权(续) & JWT(JSON Web Token)
- [Cake] 0.C#Make自动化构建-简介
- [认证授权] 3.基于OAuth2的认证(译)
- [Asp.Net Core] 1. IIS中的 Asp.Net Core 和 dotnet watch
- kafka数据迁移实践
- HDFS 2.x 磁盘间数据均衡的一种可行办法
- Batik渲染png图片异常的bug修复全程记录
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 使用Keras构造简单的CNN网络实例
- Python接口测试环境搭建过程详解
- 使用已经得到的keras模型识别自己手写的数字方式
- 解决keras使用cov1D函数的输入问题
- PHP PDOStatement::getColumnMeta讲解
- PHP PDOStatement::nextRowset讲解
- PHP _construct()函数讲解
- PHP PDOStatement::rowCount讲解
- Python 如何对文件目录操作
- Python字符串split及rsplit方法原理详解
- Laravel框架文件上传功能实现方法示例
- python中如何写类
- 什么是PHP7中的孤儿进程与僵尸进程
- Python爬虫小例子——爬取51job发布的工作职位
- 详解PHP素材图片上传、下载功能