Greenplum数据库使用总结(干货满满)
作者:小徐
制作时间:20181111
联系方式:xiaoxubigdata@163.com
目录
1.2 Master主机与Segment主机任务 - 9 -
1.4 master主节点获取segment节点上的数据顺序 - 10 -
5.2.3.1 对orientation参数进行测试 - 39 -
6.4.2 把行的数据转化为JSON类型的数据 - 58 -
6.5.2 获取JSON中的数据(去除双引号) - 59 -
6.6.5.1 JSON_EACH 函数的使用 - 64 -
6.6.5.2 JSON_OBJECT_KEYS 函数的使用 - 65 -
7 Greenplum PGBENCH命令详解 - 69 -
11.2.1 在用户(USER)特殊属性上的权限 - 94 -
11.2.2 在DATABASE(数据库)上的权限 - 96 -
11.2.3.3 把USAGE(使用权限)赋予用户 - 98 -
11.2.3.5 把CREATE(创建权限)赋予用户 - 99 -
11.2.3.7 总结SCHEMA(模式)上的权限汇总 - 99 -
11.2.4.2 把SELECT(查询)权限赋予用户 - 100 -
1 Greenplum整体架构信息
1.1 架构图示
在以上的架构中可以看出Greenplum主要是由Master和Segment组成的,Master承担生成查询计划并派发汇总执行结果,Segment是执行查询计划及数据储存管理。集群可以直接加载外部的数据。
官网请查看:https://greenplum.org/
Greenplum官方文档:https://gp-docs-cn.github.io/docs/common/gpdb-features.html
1.2 Master主机与Segment主机任务
Master主机负责 |
Segment主机负责 |
1. 建立与客户端的会话连接和管理 |
1. 业务数据的存储和存取 |
2.sql的解析并形成分布式的执行计划 |
2.执行由master分发的sql语句 |
3.将生成好的执行计划分 |
3.对于master来说,每个 |
4.收集Segment的执行结果 |
4.每一台机器上可以配置 |
5.master不存储业务数据, |
5.由于每个Segment都是对 |
6.master主机可以一主一备, |
6.Segment分primary 和mirror两种, |
7.为了提高性能,master最好 |
|
1.3 数据库分布键分布数据策略
由于greenplum数据库是个分布式数据库,数据分布在每一个segment节点上,其中数据的分布策略有两种分别是hash分布于随机分布。
1.3.1 HASH策略
Hash分布是利用Distributed by (filed1,filed2....) 做为数据分布的条件,计算hash值,并通过hash值路由到制定的segment上,如果不指定分布键,默认的是获取第一个字段作为分布键。在字段作为分布键时,该字段的值尽量是唯一的,这样才能分布的均匀,效率会更高,否则会降低数据库的想能。
1.3.2 随机分布
随机分布也叫平均分布。数据会随机的落在每一个segment节点上,不管数据内容是什么格式都会落到segment上,在SQL查询数据,数据会重新分布,性能会比较差,随机分布的用法为Distributed randomly;
1.4 master主节点获取segment节点上的数据顺序
Master在执行sql语句时由于数据切分放在每个segment上,master获取结果的顺序是segment提交的顺序,segment提交到master的顺序是随机的,就会导致一样的数据每次的查询结果顺序不一致,这也是与其他的数据不一样的地方。
2 Greenplum数据库常用知识
2.1 Greenplum 概念
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。
中国已有:中信实业银行,东方航空公司,阿里巴巴,华泰保险,中国远洋(Cosco),李宁公司等大型企业用户选择Greenplum的产品。
2.2 OLTP与OLAP的理解
2.2.1 描述概念
Greenplum 支持OLTP与OLAP机制,同时也支持AO表与堆方式储存,其中OLTP与OLAP的特点如下:
OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是:
数据在系统中产生,
基于交易的处理系统(Transaction-Based),
每次交易牵涉的数据量很小,
对响应时间要求非常高,
用户数量非常庞大,主要是操作人员,
数据库的各种操作主要基于索引进行。
OLAP(On-Line Analytical Processing,联机分析处理)是基于数据仓库的信息分析处理过程,是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的,其基本特点是:
本身不产生数据,其基础数据来源于生产系统中的操作数据(OperationalData)
基于查询的分析系统,
复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大,
响时间与具体查询有很大关系,
用户数量相对较小,其用户主要是业务人员与管理人员,
由于业务问题不固定,数据库的各种操作不能完全基于索引进行。
2.2.2 图示解释
OLTP与OLAP的比较
OLTP与OLAP对于硬件的要求
2.3 其他名词概念
2.3.1 HTAP概念
HTAP(Hybrid Transactional / Analytical Processing)
一份数据,支持在线事务与在线分析
分布式share nothing架构,线性扩展
3-15倍压缩
https://yq.aliyun.com/articles/193401?utm_content=m_29900
2.3.2 Append-only 的概念
AO表为追加存储,当删除、更新记录时,有一个BITMAP对象来存储对应的记录是否被删除。对于AO存储,虽然是appendonly,但实际上GP是支持DELETE和UPDATE的,被删除或更新的行,通过BITMAP来标记,性需要用vacuum来释放。
2.4 数据仓库设计规则
2.4.1 数据仓库概念
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
2.4.2 数据仓库设计规则相关资料
具体的可以参考数据仓库之父Bill Inmon在1991年出版的"Building the Data Warehouse",下载地址为:链接: https://pan.baidu.com/s/1I5ImKxDv0Jbx3psqTY2TzQ 提取码: gm8k
2.4.3 数据仓库设计规范参考
名词 |
名词简称 |
名词解释 |
Data Warehouse |
DW |
数据仓库主体 |
Operational Data Store |
ODS |
数据原始接入层,需要对数据频繁的增删改查,是支持对近期数据的OLTP查询,以减轻业务系统负载。 |
Data Warehouse Detail |
DWD |
数据源的细节层,有的也称为ODS层,是业务层与数据仓库的隔离层,在该层可以把业务表分的更细 |
Data Warehouse Base |
DWB |
数据仓库基础数据层, |
Data Warehouse Service |
DWS |
服务数据层,基于DWB上的基础数据,主要整合汇总最终的结果供应用层使用,一般是宽表和高度压缩表。 |
Data Warehouse History |
DWH |
该层不在数据仓库设计的范围之内,按照业务新增的数据层,主要储存历史数据。 |
Data Warehouse Exception |
DWE |
该层不在数据仓库设计的范围之内,按照业务新增的数据层,主要储存异常数据。 |
Enterprise Data Warehouse |
EDW |
作为企业唯一的数据仓库,EDW提供统一的数据服务,查询结果有效一致。数据设计支持跨部门,支持海量数据,并支持大量的查询请求。 |
Data Mart |
DM |
和EDW类似,但更专注于部门级别而不是公司级别的统一数据服务。提供EDW不能提供的,针对部门的特殊数据服务需求 |
BI/Analytic Database |
BID/AD |
为商业智能和分析而优化的数据处理技术。包括数据清理,ETL,数据挖掘等。生产报表,也支持adhoc查询,数据反范式设计。 |
Data Lake Database |
DLD |
该层存储非加工数据,比如日志、视频等,以后结构化数据,并且不分类, |
详细资料请参考:https://blog.csdn.net/xfg0218/article/details/85092196
3 Greenplum 集群安装
4 Greenplum 初级使用
4.1 Greenplum 常用命令列表
4.1.1 常用命令列表
进入到安装目录下的bin目录下,查看常用的使用命令:
psql / clusterdb / createdb / dropdb / dropuser / gpbackup / gpcheck / gpcopy / gp_dump / gpkafka / gpload / gpssh / gpstart / gpstate / gpstop / pg_ctl / pg_dump / pg_dumpall / postgres / postmaster / psql
4.2 PSQL命令实例
4.2.1 PSQL客户端的安装
yum install postgresql -y
如果是在非数据库集群中使用psql加载数据需要配置数据库的密码,例如以下方式:
export PGPASSWORD=123456
psql -d chinadaas -h 192.168.209.11 -p 5432 -U gpadmin
或使用
psql -d chinadaas -h 192.168.209.11 -p 5432 -U gpadmin -W 123456
4.2.2 PSQL命令的使用
$ psql --help
This is psql 8.3.23, the PostgreSQL interactive terminal (Greenplum version).
Usage:
psql [OPTION]... [DBNAME [USERNAME]]
General options:
-c, --command=COMMAND run only single command (SQL or internal) and exit
-d, --dbname=DBNAME database name to connect to (default: "gpadmin")
-f, --file=FILENAME execute commands from file, then exit
-l, --list list available databases, then exit
-v, --set=, --variable=NAME=VALUE
set psql variable NAME to VALUE
-X, --no-psqlrc do not read startup file (~/.psqlrc)
-1 ("one"), --single-transaction
execute command file as a single transaction
--help show this help, then exit
--version output version information, then exit
Input and output options:
-a, --echo-all echo all input from script
-e, --echo-queries echo commands sent to server
-E, --echo-hidden display queries that internal commands generate
-L, --log-file=FILENAME send session log to file
-n, --no-readline disable enhanced command line editing (readline)
-o, --output=FILENAME send query results to file (or |pipe)
-q, --quiet run quietly (no messages, only query output)
-s, --single-step single-step mode (confirm each query)
-S, --single-line single-line mode (end of line terminates SQL command)
Output format options:
-A, --no-align unaligned table output mode
-F, --field-separator=STRING
set field separator (default: "|")
-H, --html HTML table output mode
-P, --pset=VAR[=ARG] set printing option VAR to ARG (see \pset command)
-R, --record-separator=STRING
set record separator (default: newline)
-t, --tuples-only print rows only
-T, --table-attr=TEXT set HTML table tag attributes (e.g., width, border)
-x, --expanded turn on expanded table output
Connection options:
-h, --host=HOSTNAME database server host or socket directory (default: "local socket")
-p, --port=PORT database server port (default: "5432")
-U, --username=USERNAME database user name (default: "gpadmin")
-w, --no-password never prompt for password
-W, --password force password prompt (should happen automatically)
For more information, type "\?" (for internal commands) or "\help" (for SQL
commands) from within psql, or consult the psql section in the PostgreSQL
documentation.
Report bugs to <bugs@greenplum.org>.
以上常用的参数如下所示:
-d 链接数据库的名字,默认的名字是gpadmin
-h 数据库服务器链接地址,默认的是localhost
-p 数据库服务的端口
-U 数据库用户名
-W 链接用户密码
实例展示
$ psql -d chinadaas -h 192.168.209.11 -p 5432 -U gpadmin -W 123456
进入数据后可以查看帮助信息
chinadaas=# help
You are using psql, the command-line interface to PostgreSQL.
Type: \copyright for distribution terms
\h for help with SQL commands
\? for help with psql commands
\g or terminate with semicolon to execute query
\q to quit
4.2.2.2.1 COPY导入参数说明
COPY table [(column [, ...])] FROM {'file' | STDIN}
[ [WITH]
[BINARY]
[OIDS]
[HEADER]
[DELIMITER [ AS ] 'delimiter']
[NULL [ AS ] 'null string']
[ESCAPE [ AS ] 'escape' | 'OFF']
[NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF']
[CSV [QUOTE [ AS ] 'quote']
[FORCE NOT NULL column [, ...]]
[FILL MISSING FIELDS]
[[LOG ERRORS]
SEGMENT REJECT LIMIT count [ROWS | PERCENT] ]
4.2.2.2.2 COPY 导出参数说明
COPY {table [(column [, ...])] | (query)} TO {'file' | STDOUT}
[ [WITH]
[ON SEGMENT]
[BINARY]
[OIDS]
[HEADER]
[DELIMITER [ AS ] 'delimiter']
[NULL [ AS ] 'null string']
[ESCAPE [ AS ] 'escape' | 'OFF']
[CSV [QUOTE [ AS ] 'quote']
[FORCE QUOTE column [, ...]] ]
[IGNORE EXTERNAL PARTITIONS ]
4.2.2.3.1 普通导出数据
psql -U gpadmin -d chinadaas -h 192.168.209.11 -p 5432 -c "copy (select * from tablename) to 'filepath' WITH DELIMITER AS E'\u0001' NULL as 'null string' "
tablename 表的名字
filepath 保存文件的路径
E'\u0001' 字段之间的分隔符,是二进制的,二进制显示为SOH,也可以是其他的分隔符,详见https://blog.csdn.net/xfg0218/article/details/80901752
注意:如果在非集群上master节点上执行命令请在copy前加\即为:\copy 会把文件落到本机器上
4.2.2.3.2 查看导出的数据
查看导出的数据
以上的分隔符便是SOH,二进制符号
4.2.2.3.3 导出数据带标题
# psql -U gpadmin -d stagging -h 192.168.209.11 -p 5432 -c "copy (select * from xiaoxu.table2) to '/home/xiaoxu/table2.csv' WITH DELIMITER AS E'\u0001' NULL as 'null string'
- 分布式事务 TCC-Transaction 源码分析 —— 项目实战
- 分布式事务 TCC-Transaction 源码分析 —— 事务恢复
- Go的语言特性总结
- 注册中心 Eureka 源码解析 —— Eureka-Client 初始化(三)之 EurekaClient
- 从一次 Snowflake 异常说起
- 分布式事务 TCC-Transaction 源码分析 —— Dubbo 支持
- 2016 腾讯软件开发面试题(部分)
- 分布式事务 TCC-Transaction 源码分析 —— 运维平台
- 2016美团面试经历
- 2016年百度面试经历
- 注册中心 Eureka 源码解析 —— Eureka-Client 初始化(二)之 EurekaClientConfig
- Golang 中"泛型"的支持
- 编码习惯之Controller规范
- Go-简洁的并发
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 不用 UNION 操作符实现 UNION 的效果
- python3 常用的时间工具学习笔记
- Cypress端到端自动化测试学习笔记
- python常用文本串处理库学习笔记
- python+locust性能测试学习笔记
- 为什么编译原理被称为龙书?
- 用好Jackson,操作Json节省一半时间
- Java|类的继承中两种错误的解决方式 |案例介绍
- 3分钟短文 | PHP时不时蹦出这串神秘字符,有认识的吗?
- 五分钟看懂 Nginx 负载均衡
- 干掉公式 —— numpy 就该这么学
- 全面解析YOLO V4网络结构
- 刺激!一行代码即可导出所有浏览记录
- 你不知道的 node 爬虫原来这么简单
- 带货直播系统源码中,商品详情页是如何搭建起来的