百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

经常使用的order by 和 group by你了解吗?filesort你了解吗?

ztj100 2024-10-28 21:12 16 浏览 0 评论

1. 案例

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' AND position = 'dev' ORDER BY age

最左前缀法则:中间字段不能断,因此查询只用到了name索引,从key_len也能看出

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY position

从key_len看出,只用到了name索引,由于用了position排序,跳过了age,出现了Using filesort

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY age,position

查看只用到索引name,age和position用于排序

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY position,age

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' AND age = 18 ORDER BY position,age

Extra中未出现Using filesort,因为age是常量,排序中被优化了,所以索引未颠倒,不会出现Using filesort

EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' ORDER BY age ASC, position DESC

虽然排序字段列和索引顺序一致,且order by默认升序,这里position desc变成了降序,导致索引的排序方式不同,从而产生Using filesort,MySQL8以上支持这种

2. 总结

  • MySQL支持两种方式排序filesort和index,Using index只MySQL扫描索引本身完成排序,index效率高,filesort效率低
  • order by满足两种情况会使用Using index
  • order by语句使用索引最左前缀列
  • 使用where子句与order by子句条件列组合满足最左前缀列
  • 尽量在索引列上完成排序,遵循索引建立的顺序
  • 如果order by的条件不在索引列上,会产生Using filesort
  • 能用覆盖索引就用覆盖索引
  • group by 和 order by类似,就是先排序后分组遵循最左前缀法则

3. Using filesort

filesort文件排序方式

  • 单路排序:一次性取出满足条件行的所有字段,然后在sort buffer中进行排序;用trace工具可以看到sort_mode信息里显示< sort_key, additional_fields >或者< sort_key,packed_additional_fields >
  • 双路排序(回表排序模式):根据相应条件取出相应的排序字段可以直接定位行数据的行ID,在sort buffer中排序,排完序后再次取回需要的字段,用trace工具可以在sort_mode中看到< sort_key, rowid >

MySQL通过比较默认系统值max_length_for_sort_data(默认1024字节)的大小和需要查询的字段总大小来判断使用那种模式

  • max_length_for_sort_data > 查询字段总长度 , 使用单路排序模式
  • max_length_for_sort_data < 查询字段总长度, 使用双路排序模式

单路排序详细过程:

  1. 从索引name找到第一个满足 name = ‘zhuge’ 条件的主键 id
  1. 根据主键 id 取出整行,取出所有字段的值,存入 sort_buffer 中
  1. 从索引name找到下一个满足 name = ‘zhuge’ 条件的主键 id
  1. 重复步骤 2、3 直到不满足 name = ‘zhuge’
  1. 对 sort_buffer 中的数据按照字段 position 进行排序
  1. 返回结果给客户端

双路排序详细过程:

  1. 从索引 name 找到第一个满足 name = ‘zhuge’ 的主键id
  1. 根据主键 id 取出整行,把排序字段 position 和主键 id 这两个字段放到 sort buffer 中
  1. 从索引 name 取下一个满足 name = ‘zhuge’ 记录的主键 id
  1. 重复 3、4 直到不满足 name = ‘zhuge’
  1. 对 sort_buffer 中的字段 position 和主键 id 按照字段 position 进行排序
  1. 遍历排序好的 id 和字段 position,按照 id 的值回到原表中取出 所有字段的值返回给客户端

单路排序会把查询到的字段信息全部放到sort buffer中,而双路排序只会把主键和需要排序的字段放到sort buffer中,然后通过主键回表查询

如果MySQL内存配置小且无法增加,可以把max_length_for_sort_data 调小,去选择双路排序,sort buffer一次可以放更多排序值

单路排序是从内存sort buffer去拿数据,要快于从磁盘中拿数据

相关推荐

如何将数据仓库迁移到阿里云 AnalyticDB for PostgreSQL

阿里云AnalyticDBforPostgreSQL(以下简称ADBPG,即原HybridDBforPostgreSQL)为基于PostgreSQL内核的MPP架构的实时数据仓库服务,可以...

Python数据分析:探索性分析

写在前面如果你忘记了前面的文章,可以看看加深印象:Python数据处理...

CSP-J/S冲奖第21天:插入排序

...

C++基础语法梳理:算法丨十大排序算法(二)

本期是C++基础语法分享的第十六节,今天给大家来梳理一下十大排序算法后五个!归并排序...

C 语言的标准库有哪些

C语言的标准库并不是一个单一的实体,而是由一系列头文件(headerfiles)组成的集合。每个头文件声明了一组相关的函数、宏、类型和常量。程序员通过在代码中使用#include<...

[深度学习] ncnn安装和调用基础教程

1介绍ncnn是腾讯开发的一个为手机端极致优化的高性能神经网络前向计算框架,无第三方依赖,跨平台,但是通常都需要protobuf和opencv。ncnn目前已在腾讯多款应用中使用,如QQ,Qzon...

用rust实现经典的冒泡排序和快速排序

1.假设待排序数组如下letmutarr=[5,3,8,4,2,7,1];...

ncnn+PPYOLOv2首次结合!全网最详细代码解读来了

编辑:好困LRS【新智元导读】今天给大家安利一个宝藏仓库miemiedetection,该仓库集合了PPYOLO、PPYOLOv2、PPYOLOE三个算法pytorch实现三合一,其中的PPYOL...

C++特性使用建议

1.引用参数使用引用替代指针且所有不变的引用参数必须加上const。在C语言中,如果函数需要修改变量的值,参数必须为指针,如...

Qt4/5升级到Qt6吐血经验总结V202308

00:直观总结增加了很多轮子,同时原有模块拆分的也更细致,估计为了方便拓展个管理。把一些过度封装的东西移除了(比如同样的功能有多个函数),保证了只有一个函数执行该功能。把一些Qt5中兼容Qt4的方法废...

到底什么是C++11新特性,请看下文

C++11是一个比较大的更新,引入了很多新特性,以下是对这些特性的详细解释,帮助您快速理解C++11的内容1.自动类型推导(auto和decltype)...

掌握C++11这些特性,代码简洁性、安全性和性能轻松跃升!

C++11(又称C++0x)是C++编程语言的一次重大更新,引入了许多新特性,显著提升了代码简洁性、安全性和性能。以下是主要特性的分类介绍及示例:一、核心语言特性1.自动类型推导(auto)编译器自...

经典算法——凸包算法

凸包算法(ConvexHull)一、概念与问题描述凸包是指在平面上给定一组点,找到包含这些点的最小面积或最小周长的凸多边形。这个多边形没有任何内凹部分,即从一个多边形内的任意一点画一条线到多边形边界...

一起学习c++11——c++11中的新增的容器

c++11新增的容器1:array当时的初衷是希望提供一个在栈上分配的,定长数组,而且可以使用stl中的模板算法。array的用法如下:#include<string>#includ...

C++ 编程中的一些最佳实践

1.遵循代码简洁原则尽量避免冗余代码,通过模块化设计、清晰的命名和良好的结构,让代码更易于阅读和维护...

取消回复欢迎 发表评论: