物化视图相关的性能改进 (r7笔记第58天)
今天早上开发的一个同事找到我说他早上做了一个统计查询，但是感觉速度很慢，已经过了一个小时了还没有反应。想让我看看是什么情况。 我通过v$session查到有一个会话确实已经持续了近一个小时，查看sql语句是一个create table select * from xxx这样格式的语句。也就是通过关联查询创建出一个所谓的临时表来。 语句如下： create table APP_BI_ENCRYPT_QUERY.t_result_1312 as select t1.SECURITY_PHONE as MOBILE_PHONE, t1.SECURITY_EMAIL as OTHER_EMAIL, t2.* from USER_TEST_INFORAMATIONS t1, bidata.TMP_CN06 t2 where t1.CN_MASTER = t2.CN 其中一个表是TMP_CN06,这个表中的数据是临时从应用端得到的数据，大概有30多万条，另外一个就是一个视图USER_TEST_INFORAMATIONS，这个视图里面包含有12个物化视图。 所以我的初步感觉速度慢就是因为统计信息导致。 带着疑问查看了执行计划，发现统计信息缺失有较大的出入，TMP_CN06中目前有30多万的数据，但是通过统计信息得到只有8万多。
********** TABLE GENERAL INFO *****************
TABLE_NAME PAR TABLESPACE STATUS INI_TRANS NUM_ROWS BLOCKS EMPTY_BLOCKS LOG MON ROW_MOVE LAST_ANALYZED
------------------------------ --- ---------- ------ ---------- ---------- ---------- ------------ --- --- -------- -------------------
TMP_CN06 NO BIDATA_DATA VALID 1 80953 13157 0 YES YES DISABLED 2015-12-14 18:22:38
Plan hash value: 192997736
--------------------------------------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------------------------------------------------
| 0 | CREATE TABLE STATEMENT | | | | 2145K(100)| |
| 1 | LOAD AS SELECT | | | | | |
| 2 | NESTED LOOPS | | 949K| 143M| 2142K (1)| 07:08:25 |
| 3 | TABLE ACCESS FULL | TMP_CN06 | 80953 | 1106K| 2294 (1)| 00:00:28 |
| 4 | VIEW | USER_TEST_INFORAMATIONS | 1 | 145 | 26 (0)| 00:00:01 |
| 5 | UNION ALL PUSHED PREDICATE | | | | | |
| 6 | MAT_VIEW ACCESS BY INDEX ROWID| ACC00_USER_TEST_INFORAMATIONS | 1 | 145 | 1 (0)| 00:00:01 |
|* 7 | INDEX RANGE SCAN | ACC00_IND_CCMNN | 1 | | 1 (0)| 00:00:01 |
| 8 | MAT_VIEW ACCESS BY INDEX ROWID| ACC02_USER_TEST_INFORAMATIONS | 1 | 145 | 1 (0)| 00:00:01 |
|* 9 | INDEX RANGE SCAN | ACC02_IND_CCMNN | 1 | | 1 (0)| 00:00:01 |
。。。带着疑问对统计信息进行了初步的收集。现在表中的数据已经有30多万了。
TABLE_NAME PAR TABLESPACE STATUS INI_TRANS NUM_ROWS BLOCKS EMPTY_BLOCKS LOG MON ROW_MOVE LAST_ANALYZED
------------------------------ --- ---------- ------ ---------- ---------- ---------- ------------ --- --- -------- -------------------
TMP_CN06 NO BIDATA_DAT VALID 1 339774 13157 0 YES YES DISABLED 2015-12-25 10:17:05
然后就开始对物化视图的统计信息进行了收集，因为物化视图的统计信息也是过期了。
exec DBMS_STATS.GATHER_TABLE_STATS(OWNNAME=> 'ACCSTAT', TABNAME =>'ACC00_USER_TEST_INFORAMATIONS' ,CASCADE =>TRUE,METHOD_OPT=>'FOR ALL INDEXED COLUMNS SIZE 1',DEGREE =>4, GRANULARITY =>'ALL');
exec DBMS_STATS.GATHER_TABLE_STATS(OWNNAME=> 'ACCSTAT', TABNAME =>'ACC02_USER_TEST_INFORAMATIONS' ,CASCADE =>TRUE,METHOD_OPT=>'FOR ALL INDEXED COLUMNS SIZE 1',DEGREE =>4, GRANULARITY =>'ALL');
。。。
然后开启了sql monitor进行了监控，尝试创建一个测试表来看看性能。比如sql_id为2998bdn9nqf45
set linesize 150
col comm format a200
set long 99999
SELECT dbms_sqltune.report_sql_monitor(
sql_id => '2998bdn9nqf45',
report_level => 'ALL',
type=>'HTML'
) comm
FROM dual;
但是从sql monitor的结果报告来看，效果还是不够好，因为产生了大量的io等待事件，对于这个问题进行了关联分析，发现早上的高峰期里，会有大量的全表扫描在这个视图上，所以性能也会大大受到影响。之前的那个问题还没考虑好怎么处理，又来一波。
之前比较纠结的sql语句是下面的样子，做了全模糊，看起来优化空间极小。后面再做处理。
SELECT "UIN","CN_MASTER","USERFROM" FROM "USER_TEST_INFORAMATIONS" "B" WHERE "UIN">501900128 AND ( R
EGEXP_LIKE ("USERFROM",'dj2','i') OR REGEXP_LIKE ("USERFROM",'jd','i'))
这个时候查看sar的结果，发现在查询性能较差的时间段，其实CPU,IO的消耗还是不大。
09:30:01 AM all 1.58 0.00 0.43 3.82 0.00 94.17
09:40:01 AM all 1.74 0.00 0.43 3.91 0.00 93.92
09:50:01 AM all 0.84 0.00 0.23 3.94 0.00 94.99
10:00:01 AM all 0.36 0.00 0.14 4.06 0.00 95.43
10:10:01 AM all 0.36 0.00 0.13 4.05 0.00 95.46
10:20:01 AM all 0.29 0.00 0.14 4.06 0.00 95.52
10:30:01 AM all 6.15 0.00 0.30 4.15 0.00 89.40
10:40:01 AM all 3.79 0.00 0.18 4.11 0.00 91.92
10:50:01 AM all 2.02 0.00 0.27 2.67 0.00 95.04
11:00:01 AM all 4.20 0.00 0.30 1.91 0.00 93.59
11:10:01 AM all 4.48 0.00 0.18 1.16 0.00 94.19
11:20:01 AM all 1.25 0.00 0.19 1.16 0.00 97.40
那么这个时候,如果还想做点什么，并行就是一个一剂良药,尤其是对大数据量尤其有效。
原本的并行度为1,
select table_name,degree from dba_tables where table_name like '%USER_TEST_INFORAMATIONS'；
TABLE_NAME DEGREE
------------------------------ --------------------
ACC00_USER_TEST_INFORAMATIONS 1
ACC02_USER_TEST_INFORAMATIONS 1
ACC04_USER_TEST_INFORAMATIONS 1
。。。
12 rows selected.
然后设置了每个物化视图并行度为4，再次查看效果。
alter table ACC00_USER_TEST_INFORAMATIONS parallel 4;
alter table ACC02_USER_TEST_INFORAMATIONS parallel 4;
。。。
查看执行计划如下。和原本的执行计划产生了较大的差别，索引扫描从范围扫描变为了快速全扫描。
Plan hash value: 1716701289
-------------------------------------------------------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time | TQ |IN-OUT| PQ Distrib |
-------------------------------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | | | 489K(100)| | | | |
| 1 | SORT AGGREGATE | | 1 | 43 | | | | | |
| 2 | PX COORDINATOR | | | | | | | | |
| 3 | PX SEND QC (RANDOM) | :TQ10000 | 1 | 43 | | | Q1,00 | P->S | QC (RAND) |
| 4 | SORT AGGREGATE | | 1 | 43 | | | Q1,00 | PCWP | |
| 5 | NESTED LOOPS | | 3985K| 163M| 489K (3)| 01:37:49 | Q1,00 | PCWP | |
| 6 | VIEW | USER_TEST_INFORAMATIONS | 625M| 15G| 488K (3)| 01:37:42 | Q1,00 | PCWP | |
| 7 | UNION-ALL | | | | | | Q1,00 | PCWP | |
| 8 | PX BLOCK ITERATOR | | 52M| 1043M| 42122 (3)| 00:08:26 | Q1,00 | PCWC | |
|* 9 | INDEX FAST FULL SCAN| ACC00_IND_CCMNN | 52M| 1043M| 42122 (3)| 00:08:26 | Q1,00 | PCWP | |
| 10 | PX BLOCK ITERATOR | | 52M| 1043M| 39510 (3)| 00:07:55 | Q1,00 | PCWC | |
|* 11 | INDEX FAST FULL SCAN| ACC02_IND_CCMNN | 52M| 1043M| 39510 (3)| 00:07:55 | Q1,00 | PCWP | |
| 12 | PX BLOCK ITERATOR | | 52M| 1043M| 41502 (3)| 00:08:19 | Q1,00 | PCWC | |谓词信息里面有一句很特别就是cn字段开始走了索引，而在最开始的语句中是走全表扫描。 32 - access("T1"."CN_MASTER"="T2"."CN") 再次运行这个语句。 create table accstat.test_1225 as select t1.SECURITY_PHONE as MOBILE_PHONE, t1.SECURITY_EMAIL as OTHER_EMAIL, t2.* from USER_TEST_INFORAMATIONS t1, bidata.TMP_CN06 t2 where t1.CN_MASTER = t2.CN; 查看session的情况，就会发现存在了5个关联的session，可见并行度4起作用了。 至于效果如何呢。发现效率大大提升，已经提升至2分钟了，然后我就可以放心大胆的交给同事去操作了。当然从他那边的反馈来说，速度也是杠杠的。 SQL> @b.sql Table created. Elapsed: 00:01:56.82 所以通过这个案例也可以看出在资源平衡的情况下，可以适度使用并行资源，尤其空闲浪费不如合理利用。
- Java面试题系列之基础部分（四）——每天学5个问题
- 使用ORM框架，必须迁就数据库的设计吗？
- 使用OQL+SQLMAP解决ORM多表复杂的查询问题
- PostgreSQL的.NET驱动程序Npgsql中参数对象的一个Bug
- 和Emoji相关的那些开源项目
- PostgreSQL的PDF.NET驱动程序构建过程
- 基于Docker的PHP开发环境
- 以太坊·物流场景初探
- Python接口自动化-3-POST请求
- 【Python环境】Python中的结构化数据分析利器-Pandas简介
- JAVA中使用Jedis操作Redis
- Tomcat搭建文件服务器
- Windows下SLmail邮件服务器缓冲区溢出理解及实验
- java使用mina和websocket通信
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- PHP生成短网址的思路以及实现方法的详解
- ThinkPHP 3.2.3实现加减乘除图片验证码
- Python数据相关系数矩阵和热力图轻松实现教程
- PHP中md5()函数的用法讲解
- thinkPHP框架实现的简单计算器示例
- Keras在训练期间可视化训练误差和测试误差实例
- Laravel如何自定义command命令浅析
- wordpress自定义标签云与随机获取标签的方法详解
- 使用Keras画神经网络准确性图教程
- PHP序列化的四种实现方法与横向对比
- PHP自动载入类文件函数__autoload的使用方法
- 安装python3.7编译器后如何正确安装opnecv的方法详解
- python数据类型强制转换实例详解
- PHP使用OB缓存实现静态化功能示例
- 在Keras中实现保存和加载权重及模型结构