MySQL数据库中，数据量越来越大，有什么具体的优化方案么?
ztj100 2025-05-27 19:14 10 浏览 0 评论
个人的观点，这种大表的优化，不一定上来就要分库分表，因为表一旦被拆分，开发、运维的复杂度会直线上升，而大多数公司和开发人员是欠缺这种能力的。
所以MySQL中几百万甚至小几千万的表，先考虑做单表的优化。
单表优化
单表优化可以从这几个角度出发：
1.表分区
MySQL在5.1之后才有的，可以看做是水平拆分，分区表需要在建表的需要加上分区参数，用户需要在建表的时候加上分区参数；
分区表底层由多个物理子表组成，但是对于代码来说，分区表是透明的；
SQL中的条件中最好能带上分区条件的列，这样可以定位到少量的分区上，否则就会扫描全部分区。
2.增加缓存
主要的思想就是减少对数据库的访问，缓存可以在整个架构中的很多地方；
比如：数据库本身有就缓存，客户端缓存，数据库访问层对SQL语句的缓存，应用程序内的缓存，第三方缓存（如Redis等）；
3.字段设计
单表不要有太多字段；
VARCHAR的长度尽量只分配真正需要的空间；
尽量使用TIMESTAMP而非DATETIME；
避免使用NULL，可以通过设置默认值解决。
4.索引优化
索引不是越多越好，针对性地建立索引，索引会加速查询，但是对新增、修改、删除会造成一定的影响；
值域很少的字段不适合建索引；
尽量不用UNIQUE，不要设置外键，由程序保证；
5.索引优化
尽量使用索引，也要保证不要因为错误的写法导致索引失效；
比如：避免前导模糊查询，避免隐式转换，避免等号左边做函数运算，in中的元素不宜过多等等；
6.NoSQL
有一些场景，可以抛弃MySQL等关系型数据库，拥抱NoSQL；
比如：统计类、日志类、弱结构化的数据；事务要求低的场景。
表拆分
数据量进一步增大的时候，就不得不考虑表拆分的问题了：
1.垂直拆分
垂直拆分的意思就是把一个字段较多的表，拆分成多个字段较少的表；上文中也说过单表的字段不宜过多，如果初期的表结构设计的就很好，就不会有垂直拆分的问题了；一般来说，MySQL单表的字段最好不要超过二三十个。
2.水平拆分
就是我们常说的分库分表了；分表，解决了单表数据过大的问题，但是毕竟还在同一台数据库服务器上，所以IO、CPU、网络方面的压力，并不会得到彻底的缓解，这个可以通过分库来解决。
水平拆分优点很明显，可以利用多台数据库服务器的资源，提高了系统的负载能力；缺点是逻辑会变得复杂，跨节点的数据关联性能差，维护难度大（特别是扩容的时候）。
我将持续分享Java开发、架构设计、程序员职业发展等方面的见解，希望能得到你的关注；关注我后，可私信发送数字【1】，获取学习资料。
相关推荐
- Spring IoC Container 原理解析
-
IoC、DI基础概念关于IoC和DI大家都不陌生，我们直接上martinfowler的原文，里面已经有DI的例子和spring的使用示例...
- SQL注入:程序员亲手打开的潘多拉魔盒，如何彻底封印它?
-
一、现象：当你的数据库开始"说话"，灾难就来了场景还原：...
- Java核心知识3:异常机制详解
-
1什么是异常异常是指程序在运行过程中发生的，由于外部问题导致的运行异常事件，如：文件找不到、网络连接失败、空指针、非法参数等。异常是一个事件，它发生在程序运行期间，且中断程序的运行。...
- MyBatis常用工具类三-使用SqlRunner操作数据库
-
MyBatis中提供了一个非常实用的、用于操作数据库的SqlRunner工具类，该类对JDBC做了很好的封装，结合SQL工具类，能够很方便地通过Java代码执行SQL语句并检索SQL执行结果。SqlR...
- 爆肝2W字梳理50道计算机网络必问面试题
-
1.说说HTTP常用的状态码及其含义？思路:这道面试题主要考察候选人，是否掌握HTTP状态码这个基础知识点。...
- SpringBoot整合Vue3实现发送邮箱验证码功能
-
1.效果演示2.思维导图...
- 最全JAVA面试题及答案(200+)
-
Java基础1.JDK和JRE有什么区别？JDK：JavaDevelopmentKit的简称，Java开发工具包，提供了Java的开发环境和运行环境。JRE：JavaRunti...
- Java程序员找工作翻车现场!你的项目描述踩了这几个坑?
-
Java程序员找工作翻车现场！你的项目描述踩了这几个坑？噼里啪啦敲了三年代码，简历一投石沉大海？兄弟，问题可能出在项目描述上！知道为什么面试官看你的项目像看天书吗？因为你写了三个致命雷区：第一，把项目...
- 2020最新整理JAVA面试题附答案，包含19个模块共208道面试题
-
包含的模块：本文分为十九个模块，分别是：Java基础、容器、多线程、反射、对象拷贝、JavaWeb、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/Spring...
- 底层原理深度解析:equals() 与 == 的 JVM 级运作机制
-
作为Java开发者，你是否曾在集合操作时遇到过对象比较的诡异问题？是否在使用HashMap时发现对象丢失？这些问题往往源于对equals()和==的误解，以及实体类中这两个方法的不当实...
- 雪花算法，什么情况下发生 ID 冲突?
-
分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的...
- 50个Java编程技巧，免费送给大家
-
一、语法类技巧1.1.使用三元表达式普通：...
- 如何规划一个合理的JAVA项目工程结构
-
由于阿里Java开发手册对于工程结构的描述仅限于1、2节简单的概述，不能满足多样的实际需求，本文根据多个项目中工程的实践，分享一种较为合理实用的工程结构。工程结构的原则有依据、实用。有依据的含义是指做...
- Java 编程技巧之单元测试用例编写流程
-
温馨提示：本文较长，同学们可收藏后再看:)前言...
- MyBatis核心源码解读:SQL执行流程的奇妙之旅
-
MyBatis核心源码解读：SQL执行流程的奇妙之旅大家好呀！今天咱们要来一场既烧脑又有趣的旅程——探索MyBatis这个强大框架的核心秘密。你知道吗？当你在项目里轻轻松松写一句“select*f...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)