如何定位及优化SQL语句的性能问题
在现如今的软件开发中,关系型数据库是做数据存储最重要的工具。无论是Oracale还是Mysql,都是需要通过SQL语句来和数据库进行交互的,这种交互我们通常称之为CRUD。在CRUD操作中,最最常用的也就是Read操作了。而对于不同的表结构,采用不同的SQL语句,性能上可能千差万别。本文,就基于MySql数据库,来介绍一下如何定位SQL语句的性能问题。
对于低性能的SQL语句的定位,最重要也是最有效的方法就是使用执行计划。
执行计划
我们知道,不管是哪种数据库,或者是哪种数据库引擎,在对一条SQL语句进行执行的过程中都会做很多相关的优化,对于查询语句,最重要的优化方式就是使用索引。
而执行计划,就是显示数据库引擎对于SQL语句的执行的详细情况,其中包含了是否使用索引,使用什么索引,使用的索引的相关信息等。
基本语法
explain select ...
mysql的explain 命令可以用来分析select 语句的运行效果。
除此之外,explain 的extended 扩展能够在原本explain的基础上额外的提供一些查询优化的信息,这些信息可以通过mysql的show warnings命令得到。
mysql> explain extended select * from account;
******** 1. row ***************************
id: 1
select_type: SIMPLE
table: account
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 1
filtered: 100.00
Extra:
1 row in set, 1 warning (0.00 sec)
mysql> show warnings;
*************1. row ***************************
Level: Note
Code: 1003
Message: select `dbunit`.`account`.`id` AS `id`,`dbunit`.`account`.`name` AS `name` from `dbunit`.`account`
1 row in set (0.00 sec)
(提示:可以左右滑动代码)
另外,对于分区表的查询,需要使用partitions命令。
explain partitions select ...
执行计划包含的信息
不同版本的Mysql和不同的存储引擎执行计划不完全相同,但基本信息都差不多。mysql执行计划主要包含以下信息:
id
由一组数字组成。表示一个查询中各个子查询的执行顺序;
- id相同执行顺序由上至下。
- id不同,id值越大优先级越高,越先被执行。
- id为
null
时表示一个结果集,不需要使用它查询,常出现在包含union
等查询语句中。
select_type
每个子查询的查询类型,一些常见的查询类型。
id |
select_type |
description |
---|---|---|
1 |
SIMPLE |
不包含任何子查询或union等查询 |
2 |
PRIMARY |
包含子查询最外层查询就显示为 PRIMARY |
3 |
SUBQUERY |
在select或 where字句中包含的查询 |
4 |
DERIVED |
from字句中包含的查询 |
5 |
UNION |
出现在union后的查询语句中 |
6 |
UNION RESULT |
从UNION中获取结果集,例如上文的第三个例子 |
table
查询涉及到的数据表。
如果查询使用了别名,那么这里显示的是别名,如果不涉及对数据表的操作,那么这显示为null,如果显示为尖括号括起来的就表示这个是临时表,后边的N就是执行计划中的id,表示结果来自于这个查询产生。如果是尖括号括起来的,与类似,也是一个临时表,表示这个结果来自于union查询的id为M,N的结果集。
type
访问类型
-
ALL
扫描全表数据 -
index
遍历索引 -
range
索引范围查找 -
index_subquery
在子查询中使用 ref -
unique_subquery
在子查询中使用 eq_ref -
ref_or_null
对Null
进行索引的优化的 ref -
fulltext
使用全文索引 -
ref
使用非唯一索引查找数据 -
eq_ref
在join
查询中使用PRIMARY KEY
orUNIQUE NOT NULL
索引关联。 -
const
使用主键或者唯一索引,且匹配的结果只有一条记录。 -
system const
连接类型的特例,查询的表为系统表。
性能从好到差依次为:system,const,eq_ref,ref,fulltext,ref_or_null,unique_subquery,index_subquery,range,index_merge,index,ALL,除了ALL之外,其他的type都可以使用到索引,除了index_merge之外,其他的type只可以用到一个索引。
所以,如果通过执行计划发现某张表的查询语句的type显示为ALL,那就要考虑添加索引,或者更换查询方式,使用索引进行查询。
possible_keys
可能使用的索引,注意不一定会使用。查询涉及到的字段上若存在索引,则该索引将被列出来。当该列为 NULL
时就要考虑当前的SQL
是否需要优化了。
key
显示MySQL在查询中实际使用的索引,若没有使用索引,显示为NULL。
TIPS:
查询中若使用了覆盖索引(覆盖索引:索引的数据覆盖了需要查询的所有数据),则该索引仅出现在key列表中。
select_type为index_merge时,这里可能出现两个以上的索引,其他的select_type这里只会出现一个。
key_length
索引长度char()、varchar()索引长度的计算公式:
(Character Set:utf8mb4=4,utf8=3,gbk=2,latin1=1) * 列长度 + 1(允许null) + 2(变长列)
其他类型索引长度的计算公式:
CREATE TABLE `student`
( `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(128) NOT NULL DEFAULT '',
`age` int(11), PRIMARY KEY (`id`),
UNIQUE KEY `idx` (`name`),
KEY `idx_age` (`age`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4;
name 索引长度为:编码为utf8mb4,列长为128,不允许为NULL
,字段类型为varchar(128)
。key_length = 128 * 4 + 0 + 2 = 514;
age 索引长度:int类型占4位,允许null
,索引长度为5。
ref
表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值
如果是使用的常数等值查询,这里会显示const,如果是连接查询,被驱动表的执行计划这里会显示驱动表的关联字段,如果是条件使用了表达式或者函数,或者条件列发生了内部隐式转换,这里可能显示为func
rows
返回估算的结果集数目,注意这并不是一个准确值。
extra
extra
的信息非常丰富,常见的有:
- Using index 使用覆盖索引
- Using where 使用了用where子句来过滤结果集
- Using filesort 使用文件排序,使用非索引列进行排序时出现,非常消耗性能,尽量优化。
- Using temporary 使用了临时表。
一些SQL优化建议
1、SQL语句不要写的太复杂。
一个SQL语句要尽量简单,不要嵌套太多层。
2、使用『临时表』缓存中间结果。
简化SQL语句的重要方法就是采用临时表暂存中间结果,这样可以避免程序中多次扫描主表,也大大减少了阻塞,提高了并发性能。
3、使用like的时候要注意是否会导致全表扫
有的时候会需要进行一些模糊查询比如
select id from table where username like ‘%sql_road%’
关键词%sql_road%,由于sql_road前面用到了“%”,因此该查询会使用全表扫描,除非必要,否则不要在关键词前加%,
4、尽量避免使用!=或<>操作符
在where语句中使用!=或<>,引擎将放弃使用索引而进行全表扫描。
5、尽量避免使用 or 来连接条件
在 where 子句中使用 or 来连接条件,引擎将放弃使用索引而进行全表扫描。
--可以用
select id from t where num=10
union all
select id from t where num=20
--替代
select id from t where num=10 or num=20
6、尽量避免使用in和not in
在 where 子句中使用 in和not in,引擎将放弃使用索引而进行全表扫描,可以使用exists和not exists。
7、可以考虑强制查询使用索引
select * from table force index(PRI) limit 2;
--强制使用主键
select * from table force index(hollis_index) limit 2;
--强制使用索引"hollis_index"
select * from table force index(PRI,hollis_index) limit 2;
--强制使用索引"PRI和hollis_index"
8、尽量避免使用表达式、函数等操作作为查询条件
9、尽量避免大事务操作,提高系统并发能力。
10、尽量避免使用游标
11、任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。
12、尽可能的使用 varchar/nvarchar 代替 char/nchar
13、尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。
14、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率
15、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引
Love & Share [ 完 ]
- 分类模型的性能评估——以SAS Logistic回归为例: 混淆矩阵
- R语言,你要怎样画地图?
- R语言绘制中国地图,并展示流行病学数据
- 使用R语言构造投资组合
- R语言构建追涨杀跌量化交易模型
- 美团点评境外度假团队前端项目开发实践总结
- 在jfinal中使用druid,并配置查看权限
- java中遇到过的String的一些特性
- Kaggle案例——使用scikit-learn解决DigitRecognition问题
- 基于Kaggle数据的词袋模型文本分类教程
- javascript中遇到的字符串对象处理
- 传统企业站开发 - 页面布局
- AngularJS中使用service,并同步数据
- 2016.05 第四周 群问题分享
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 基于tensorflow for循环 while循环案例
- 浅谈Python 命令行参数argparse写入图片路径操作
- 硬核干货丨游戏大世界的超远视距处理手法,建议收藏!
- python实现npy格式文件转换为txt文件操作
- 从0开始打造UI框架:动态化框架Scrollview物理学算法解析
- 基于Keras的格式化输出Loss实现方式
- PHP信号处理机制的操作代码讲解
- php防止表单重复提交实例讲解
- Python实现封装打包自己写的代码,被python import
- 创建一个 Serverless 应用,真的没有这么难!
- PHP使用mongoclient简单操作mongodb数据库示例
- 基于TensorFlow的CNN实现Mnist手写数字识别
- django rest framework 自定义返回方式
- PHP+Ajax实现的检测用户名功能简单示例
- Yii框架学习笔记之session与cookie简单操作示例