如何编译及使用TPC-DS生成测试数据
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。本篇文章主要介绍如何编译及使用TPC-DS生成测试数据。
在接下来的文章Fayson会介绍如何使用TPC-DS生成的数据基于99条SQL语句进行Hive、Impala及Presto的性能测试。
- 内容概述
1.环境准备及编译TPC-DS
2.生成测试数据
3.建表语句说明及生成99条SQL
- 测试环境
1.RedHat7.3
2.采用root用户操作
2.环境准备
1.从官网下载TPC-DS源码,下载地址如下:
http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp
(可左右滑动)
下载至本地目录
2.将下载下来的v2.8.0rc4.zip文件解压至当前目录
[root@ip-172-31-16-68 ~]# unzip v2.8.0rc4.zip
(可左右滑动)
3.安装TPC-DS编译依赖环境
[root@ip-172-31-16-68 ~]# yum -y install gcc gcc-c++ expect
(可左右滑动)
3.编译TPC-DS
1.进入解压好的v2.80rc4/tools目录下
[root@ip-172-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
(可左右滑动)
2.在该目录下执行如下命令编译TPC-DS
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# make
(可左右滑动)
至此已完成TPC-DS的编译。
4.建表语句说明
1.进入/root/v2.8.0rc4/tools,查看tpcds.sql文件,该文件则是这些数据的基本建表语句
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# ll *.sql
(可左右滑动)
这里提供了基础的建表语句,我们需要根据我们测试数据库的环境对SQL语句做相应的修改。
5.生成测试数据
在tools目录是通过dsdgen命令生成指定量级的测试数据,可以通过并行的方式生成数据,可以指定数据的分隔符等,具体参数可以使用dsdgen –h来查看
1.进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据
[root@ip-172-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-172-31-16-68 tools]# cd /root/v2.8.0rc4/tools/
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata
(可左右滑动)
注意:这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常。
-SCALE:指定生成数据量大小如:100GB、200GB、1TB、100TB
2.查看生成的表数据
[root@ip-172-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-172-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-172-31-16-68 tpcdsdata]# du -sh .
(可左右滑动)
可以看到生成的数据量在1.2GB,这里生成数据是随机性的,所以生成的测试数据量和指定的数据量大小有一定的出入,但数据量的大小基本在指定大小的范围左右。
3.并行生成测试数据
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4
(可左右滑动)
6.根据模板生成查询语句
通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句,TPC-DS默认支持以下模板:db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl,如下使用方式:
这里我们使用Oracle来作为示例来生成Oracle的查询语句:
[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
(可左右滑动)
在生成query.sql文件时会报错,错误信息如下:
[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-172-31-16-68 tools]#
(可左右滑动)
我们需要手动的去修改tempalte_query目录下相应的模板,这里我们已query1.sql为例修改:
其它query.sql默认均已这种方式进行修改。
7.总结
- 利用TPC-DS工具可以很方便的生成我们指定数据量的测试数据
- 在使用建表语句时需要根据我们的测试环境对建表语句作相应的修改
- 同样99条SQL查询语句也需要根据我们的数据库类型进行相应的修改
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- Steve Boswell:智能口罩让PM2.5滚蛋
- kvm虚拟化管理平台WebVirtMgr部署-完整记录(2)
- objective-C中的扩展方法与partial class
- 仿优酷Android客户端图片左右滑动(自动滑动)
- objective-C: NSString应该用initWithFormat? 还是 stringWithFormat?
- objective-C 的内存管理之-实例分析
- Tim Berners-Lee:网络的自由和开放
- android防止内存溢出浅析
- objective-C 的内存管理之-自动释放池(autorelease pool)
- objective-C 的内存管理之-引用计数
- CompoundButton.OnCheckedChangeListener与RadioGroup.OnCheckedChangeListener冲突
- Liora Rosin & Golan Levi:在北京驾车看洛杉矶的落日
- iphone/ipad/itouch进入DFU模式最简单的操作办法
- 微信小程序for循环里条件判断
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Mysql5.6版本新增列,执行DDL的时候竟然锁表了,这应该是是最好的解决办法之一了!!
- spring之bean的作用域
- spring之spring表达式语言:SpEL
- 反欺诈模型(数据不平衡)
- 基于TypeScript封装Axios笔记(一)
- 一次性清除“知乎”所有DIV
- spring之bean之间的关系
- spring之未加后置处理器的bean的生命周期
- linux之在centos7中配置java开发环境
- 秒懂java规则表达式框架Aviator2.3.0
- 细品Redis高性能数据结构之SDS
- linux之第一个shell程序
- pyspark之从HDFS上读取文件、从本地读取文件
- spring之使用外部属性文件(连接数据库时使用)
- 【python-leetcode92-翻转链表】反转链表2