百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

经常使用的order by 和 group by你了解吗?filesort你了解吗?

ztj100 2024-10-28 21:12 20 浏览 0 评论

1. 案例

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' AND position = 'dev' ORDER BY age

最左前缀法则:中间字段不能断,因此查询只用到了name索引,从key_len也能看出

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY position

从key_len看出,只用到了name索引,由于用了position排序,跳过了age,出现了Using filesort

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY age,position

查看只用到索引name,age和position用于排序

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY position,age

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' AND age = 18 ORDER BY position,age

Extra中未出现Using filesort,因为age是常量,排序中被优化了,所以索引未颠倒,不会出现Using filesort

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY age ASC, position DESC

虽然排序字段列和索引顺序一致,且order by默认升序,这里position desc变成了降序,导致索引的排序方式不同,从而产生Using filesort,MySQL8以上支持这种

2. 总结

  • MySQL支持两种方式排序filesort和index,Using index只MySQL扫描索引本身完成排序,index效率高,filesort效率低
  • order by满足两种情况会使用Using index
  • order by语句使用索引最左前缀列
  • 使用where子句与order by子句条件列组合满足最左前缀列
  • 尽量在索引列上完成排序,遵循索引建立的顺序
  • 如果order by的条件不在索引列上,会产生Using filesort
  • 能用覆盖索引就用覆盖索引
  • group by 和 order by类似,就是先排序后分组遵循最左前缀法则

3. Using filesort

filesort文件排序方式

  • 单路排序:一次性取出满足条件行的所有字段,然后在sort buffer中进行排序;用trace工具可以看到sort_mode信息里显示< sort_key, additional_fields >或者< sort_key,packed_additional_fields >
  • 双路排序(回表排序模式):根据相应条件取出相应的排序字段可以直接定位行数据的行ID,在sort buffer中排序,排完序后再次取回需要的字段,用trace工具可以在sort_mode中看到< sort_key, rowid >

MySQL通过比较默认系统值max_length_for_sort_data(默认1024字节)的大小和需要查询的字段总大小来判断使用那种模式

  • max_length_for_sort_data > 查询字段总长度 , 使用单路排序模式
  • max_length_for_sort_data < 查询字段总长度, 使用双路排序模式

单路排序详细过程:

  1. 从索引name找到第一个满足 name = ‘zhuge’ 条件的主键 id
  1. 根据主键 id 取出整行,取出所有字段的值,存入 sort_buffer 中
  1. 从索引name找到下一个满足 name = ‘zhuge’ 条件的主键 id
  1. 重复步骤 2、3 直到不满足 name = ‘zhuge’
  1. 对 sort_buffer 中的数据按照字段 position 进行排序
  1. 返回结果给客户端

双路排序详细过程:

  1. 从索引 name 找到第一个满足 name = ‘zhuge’ 的主键id
  1. 根据主键 id 取出整行,把排序字段 position 和主键 id 这两个字段放到 sort buffer 中
  1. 从索引 name 取下一个满足 name = ‘zhuge’ 记录的主键 id
  1. 重复 3、4 直到不满足 name = ‘zhuge’
  1. 对 sort_buffer 中的字段 position 和主键 id 按照字段 position 进行排序
  1. 遍历排序好的 id 和字段 position,按照 id 的值回到原表中取出 所有字段的值返回给客户端

单路排序会把查询到的字段信息全部放到sort buffer中,而双路排序只会把主键和需要排序的字段放到sort buffer中,然后通过主键回表查询

如果MySQL内存配置小且无法增加,可以把max_length_for_sort_data 调小,去选择双路排序,sort buffer一次可以放更多排序值

单路排序是从内存sort buffer去拿数据,要快于从磁盘中拿数据

相关推荐

再说圆的面积-蒙特卡洛(蒙特卡洛方法求圆周率的matlab程序)

在微积分-圆的面积和周长(1)介绍微积分方法求解圆的面积,本文使用蒙特卡洛方法求解圆面积。...

python编程:如何使用python代码绘制出哪些常见的机器学习图像?

专栏推荐...

python创建分类器小结(pytorch分类数据集创建)

简介:分类是指利用数据的特性将其分成若干类型的过程。监督学习分类器就是用带标记的训练数据建立一个模型,然后对未知数据进行分类。...

matplotlib——绘制散点图(matplotlib散点图颜色和图例)

绘制散点图不同条件(维度)之间的内在关联关系观察数据的离散聚合程度...

python实现实时绘制数据(python如何绘制)

方法一importmatplotlib.pyplotaspltimportnumpyasnpimporttimefrommathimport*plt.ion()#...

简单学Python——matplotlib库3——绘制散点图

前面我们学习了用matplotlib绘制折线图,今天我们学习绘制散点图。其实简单的散点图与折线图的语法基本相同,只是作图函数由plot()变成了scatter()。下面就绘制一个散点图:import...

数据分析-相关性分析可视化(相关性分析数据处理)

前面介绍了相关性分析的原理、流程和常用的皮尔逊相关系数和斯皮尔曼相关系数,具体可以参考...

免费Python机器学习课程一:线性回归算法

学习线性回归的概念并从头开始在python中开发完整的线性回归算法最基本的机器学习算法必须是具有单个变量的线性回归算法。如今,可用的高级机器学习算法,库和技术如此之多,以至于线性回归似乎并不重要。但是...

用Python进行机器学习(2)之逻辑回归

前面介绍了线性回归,本次介绍的是逻辑回归。逻辑回归虽然名字里面带有“回归”两个字,但是它是一种分类算法,通常用于解决二分类问题,比如某个邮件是否是广告邮件,比如某个评价是否为正向的评价。逻辑回归也可以...

【Python机器学习系列】拟合和回归傻傻分不清?一文带你彻底搞懂

一、拟合和回归的区别拟合...

推荐2个十分好用的pandas数据探索分析神器

作者:俊欣来源:关于数据分析与可视化...

向量数据库:解锁大模型记忆的关键!选型指南+实战案例全解析

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在...

用Python进行机器学习(11)-主成分分析PCA

我们在机器学习中有时候需要处理很多个参数,但是这些参数有时候彼此之间是有着各种关系的,这个时候我们就会想:是否可以找到一种方式来降低参数的个数呢?这就是今天我们要介绍的主成分分析,英文是Princip...

神经网络基础深度解析:从感知机到反向传播

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在...

Python实现基于机器学习的RFM模型

CDA数据分析师出品作者:CDALevelⅠ持证人岗位:数据分析师行业:大数据...

取消回复欢迎 发表评论: